Sqoop安装配置

最新推荐文章于 2020-09-26 16:32:16 发布
最新推荐文章于 2020-09-26 16:32:16 发布
阅读量197 收藏
点赞数
分类专栏： 大数据 文章标签： sqoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ckw__xyy/article/details/108811059
版权

一.Sqoop简介

  1. Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具
    • 将数据从RDBMS导入到HDFS
      HDFS, Hive, Hbase
    • 从HDFS导出数据到RDBMS
    • 使用MapReduce导入和导出数据,提供并行操作和容错

二.Sqoop安装前提条件

安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境.

三.Sqoop安装

  1. 下载安装包
    安装包下载链接:https://pan.baidu.com/s/1pJO_8qzHq_ta8NDJlFr5mw
    提取码：1234

  2. 将安装包上传至Linux系统 /opt目录下

  3. 解压并改名

tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz

mv sqoop-1.4.6-cdh5.14.2 sqoop

四.修改配置文件

  1. 重命名配置文件
cd /opt/sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh
  1. 修改配置文件
vi sqoop-env.sh

在这里插入图片描述

  1. 注释掉警告信息
vi /opt/sqoop/bin/configure-sqoop

在这里插入图片描述

  1. 拷贝 jdbc 驱动(在/opt/hive/lib目录下)到 Sqoop 的 lib 目录下
cp /opt/hive/lib/mysql-connector-java-5.1.38.jar /opt/sqoop/lib
  1. 验证Sqoop
cd /opt/sqoop/bin

sqoop version

在这里插入图片描述

sqoop help

在这里插入图片描述

  1. 测试sqoop是否能够连接到数据库
bin/sqoop list-databases \
--connect jdbc:mysql://hadoop010(主机名,因人而异):3306/ \
--username root \
--password ok

在这里插入图片描述
出现上图数据库则表示连接成功! ! !

Hi!Siri
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SQOOP安装配置
这是饭多多的博客
03-03 451
sqoop原本的conf下是没有此文件的，和hadoop是一样的，需要使用sqoop提供的模板新建一个此文件，进行hadoop相关环境变量的配置。使用ssh软件（FinaShell等）将安装包上传到虚拟机。下载成功之后上传到虚拟机，放入到sqoop/lib目录下。（注意压缩包所在路径，和-C后面文件解压到的路径）根据自己的真实版本号和路径进行配置。一定要根据自己的真实路径添加。进入sqoop文件所在目录。
Sqoop 安装配置（超详细）
热门推荐
JIE的博客 --- moon_coder
11-03 1万+
我没有装 HBase 和 Zookeper，所以只指定了 HADOOP 和 Hive 的路径，注意删掉前面的符号。使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的。拷贝 MySQL 驱动到 Sqoop 中的。至此，我们的 Sqoop 就已经安装完成啦。配置如下，根据自己的集群情况来看。，出现如下版本信息表示安装成功。，否则会被认为是一行注释。选择自己集群合适的版本。瞬间就舒服多了，哈哈哈。
sqoop的安装配置
ccsynl的博客
09-05 131
首先进行配置我们需要提前准备压缩包sqoop-1.4.6-cdh5.14.2.tar.gz以及一些依赖jar包java-json.jar & mysql-connector-java-5.1.27-bin.jar 将压缩文件解压到指定目录中 重命名 mv sqoop-1.4.6-cdh5.14.2/ sqoop146 将mysql和json依赖包拷贝到sqoop146/lib/中 [root@vwmaster lib]# pwd /opt/bigdata/hadoop/sqoop146/
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具，它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...
sqoop安装与使用
07-24
### Sqoop 安装与使用详解 #### 一、Sqoop功能概述 Sqoop是一款用于在Hadoop和关系型数据库之间高效传输数据的工具。它能够便捷地将关系型数据库管理系统(RDBMS)中的数据导入到HDFS或从HDFS导出到RDBMS中，同时也...
第9章 Sqoop组件安装配置.pdf
11-27
Sqoop 组件安装配置 Sqoop 是一个开源的数据传输工具，由 Apache 软件基金会开发，主要用于在 Hadoop 和结构化数据存储之间传输大量数据。Sqoop 提供了一种高效、可靠的方式来将数据从关系数据库管理系统（RDBMS）...
电商数仓项目(九) Sqoop安装与配置
03-26
本电商数仓项目中的第九部分重点介绍了如何安装和配置Sqoop，这对于构建高效的数据仓库系统至关重要。以下是对 Sqoop 的详细介绍以及安装配置步骤。 一、Sqoop 简介 Sqoop 是一个用来在 Hadoop 和结构化数据存储...
Sqoop 安装.docx
05-20
通过这个实验，你不仅掌握了 Sqoop 的安装，还了解了如何配置环境变量和管理文件权限，这些都是在大数据环境中工作的重要技能。同时，熟悉 Sqoop 的基本操作将有助于你在实际项目中更加有效地处理数据迁移任务。
Hbase安装教程(单机版)
ckw__xyy的博客
09-13 1001
一.Hbase安装前提条件 a) 前置条件最少安装了Hadoop（如果只是安装单机版hbase，zookeeper使用hbase内置的即可）如果需要安装伪分布式或完整分布式则需要先安装zookeeper b) 下载hbase并解压 链接: https://pan.baidu.com/s/18yS4V33qeKgCHely0It4Lw 提取码: q2vu 二.文件配置 1.将Hbase他所报文件上传至Moba的根目录下的software文件夹中(直接拖进去) 2.解压Hbase并移动到/opt目录下 tar
Hive(单机版)安装配置教程
ckw__xyy的博客
09-13 692
Hive安装一.需前置安装好hadoop及mysql二.Hive安装步骤 一.需前置安装好hadoop及mysql hadoop安装链接:Hadoop安装 mysql安装链接:Linux系统mysql安装 二.Hive安装步骤 1.将hive压缩文件上传至software文件夹中 hive压缩文件获取链接链接：https://pan.baidu.com/s/1Et-NjtFrxXd5jAF6PI2kOQ 提取码：1234 2.将hive压缩文件解压至opt目录下 输入 tar -zxvf hive-1.1
使用java实现Hive UDF
ckw__xyy的博客
09-22 528
案例要求:打印直角三角形 1.使用idea创建maven工程,对应的pom.xml配置如下: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
使用Sqoop进行数据迁移(一)
ckw__xyy的博客
09-26 478
数据迁移一.Sqoop安装二.从RDB导入数据到HDFS<1> 表中数据全部导入:<2> 通过where语句过滤导入表<3> 通过columns过滤导入表<4> 使用query方式导入数据 一.Sqoop安装 安装教程见博客:Sqoop安装 二.从RDB导入数据到HDFS <1> 表中数据全部导入: 在mysql中创建 sq 库, 进入sq 数据,创建student表,插入数据 create database sq; use sq; crea
MapReduce 过程详解
ckw__xyy的博客
09-18 477
MapReduce 过程详解一.Map端:二.Reduce端: 一.Map端: Map节点运行map task任务生成map的输出结果 1.Shuffer的工作内容 从运算效率的出发点,map的输出结果有限存储在map节点的内存中.每个map task都有一个内存缓冲区,存储着map的输出结果,当缓冲快满时,需要将缓冲区的数据以一个临时文件的形式存储到磁盘中,当整个map task结束后,在对磁盘中的这个临时文件做合并,生成最终的输出文件, 最后等待reduce task来拉取数据.当然当map t
Hbase概述及Hbase shell 操作
ckw__xyy的博客
09-24 405
Hbase一.Hbase概述二.Hbase发展史三.Hbase应用场景四.Apache HBase生态圈五.HBase物理架构六.HBase数据管理七.HBase架构特点八.HBase Shell九.HBase操作十.示例 一.Hbase概述 1.Hbase是一个领先的NoSQL数据库 * 是一个面向列的数据库 * 是一个分布式hash map * 基于Google Big Table论文 * 使用HDFS作为存储并利用其可靠性 2.Hbase特点 * 数据访问速度快,响应时间约2-20毫秒 * 支持随机读
hadoop安装
ckw__xyy的博客
09-05 310
1.将hadoop安装包拖入software文件夹中 2.输入tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz 解压文件 3.输入mv hadoop-2.6.0-cdh5.14.2 /opt/hadoop 将文件移动到opt目录下并改名hadoop 4.输入 vi /etc/profile 添加下图中的配置 5.输入source /etc/profile 6.输入hadoop version 7.输入 cd etc/hadoop 然后输入vi core-site.xml
Phoenix安装配置
ckw__xyy的博客
09-25 301
一.下载安装包 phoenix安装包下载地址:链接：https://pan.baidu.com/s/1rS1-2IVxRCujD1O8Vn_oAQ 提取码：1234 二.安装配置 将安装包上传到Linux系统/opt目录下 解压并改名 tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz mv apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz phoenix 拷贝 phoenix-4.14.0-cdh5.13.
Phoenix概述以及使用Phoenix操作Hbase
ckw__xyy的博客
09-25 253
Phoenix一.Phoenix概述二.Phoenix的应用场景三.Phoenix架构四.Phoenix SQL语法五. Phoenix操作Hbase 一.Phoenix概述 Phoenix简介 构建在Hbase上的SQL层 使用标准SQL在Hbase中管理数据 使用JDBC来创建表,插入数据,对Hbase数据进行查询 Phoenix JDBC Driver容易嵌入到支持JDBC的程序中 Phoenix无法代替RDBMS 缺乏完整约束,很多领域尚不成熟 Phoenix使Hbase更易用
Sqoop的安装与配置
最新发布
12-23
以下是Sqoop的安装与配置步骤： 1. 确保已经安装和配置好Hadoop、Hive和MySQL。 2. 进入/opt目录，并解压Sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。执行以下命令： ```shell mkdir /app cd /opt tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app cd /app mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop ``` 3. 配置Sqoop的环境变量。编辑~/.bashrc文件，并添加以下内容： ```shell export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存并退出文件。 4. 使环境变量生效。执行以下命令： ```shell source ~/.bashrc ``` 5. 配置Sqoop的连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-env-template.sh为sqoop-env.sh。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-env-template.sh sqoop-env.sh ``` 6. 编辑sqoop-env.sh文件，并设置以下参数： ```shell export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive export ZOOKEEPER_HOME=/path/to/zookeeper ``` 将/path/to/hadoop、/path/to/hive和/path/to/zookeeper替换为实际的路径。 7. 配置Sqoop的数据库连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-site-template.xml为sqoop-site.xml。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-site-template.xml sqoop-site.xml ``` 8. 编辑sqoop-site.xml文件，并设置以下参数： ```shell <property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>true</value> </property> <property> <name>sqoop.metastore.client.autoconnect.url</name> <value>jdbc:mysql://localhost:3306/sqoop_metastore</value> </property> <property> <name>sqoop.metastore.client.autoconnect.username</name> <value>sqoop</value> </property> <property> <name>sqoop.metastore.client.autoconnect.password</name> <value>password</value> </property> ``` 将localhost、3306、sqoop_metastore、sqoop和password替换为实际的数据库连接信息。 9. 完成以上配置后，Sqoop就已经安装和配置好了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值