Sqoop部署与使用

最新推荐文章于 2024-09-04 15:48:18 发布

Yi_同学

最新推荐文章于 2024-09-04 15:48:18 发布

阅读量475

点赞数 1

分类专栏：大数据文章标签： hadoop sqoop

本文链接：https://blog.csdn.net/qq_39673647/article/details/119870418

版权

本文详细介绍了Sqoop的部署步骤，包括下载解压、配置文件设置、添加JDBC驱动以及安装验证。接着，通过实例展示了如何连接MySQL，并进行数据的导入导出操作，如RDBMS到HDFS、Hive和HBase的迁移，以及Hive和HDFS数据回流至RDBMS。

摘要由CSDN通过智能技术生成

Sqoop部署

下载并解压

下载
上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到虚拟机中

解压安装包：

# 解压
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/src/

# 重命名
cd /usr/local/src/
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

配置文件

复制 sqoop-env-template.sh 文件并重命名

# 进入 sqoop 的 conf 目录下
[root@master src]# cd sqoop/conf

# 查看目录下的文件
[root@master conf]# ls
oraoop-site-template.xml  sqoop-env-template.sh    sqoop-site.xml
sqoop-env-template.cmd    sqoop-site-template.xml

# 拷贝一个文件并命名为 sqoop-env.sh
[root@master conf]# cp sqoop-env-template.sh sqoop-env.sh

配置sqoop-env.sh

# 根据软件的安装路径配置文件（如果没有安装对应组件会出现警告，不影响使用）
export HADOOP_COMMON_HOME=/usr/local/src/hadoop
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop
export HIVE_HOME=/usr/local/src/hive
export HBASE_HOME=/usr/local/src/hbase
export ZOOKEEPER_HOME=/usr/local/src/zookeeper
export ZOOCFGDIR=/usr/local/src/zookeeper

添加驱动

如果连接类似MySQL等关系型数据库，需要添加JDBC驱动

点击下载：JDBC驱动

cp mysql-connector-java-5.1.27-bin.jar /usr/local/src/sqoop/lib/

验证安装

# 切换到 sqoop 目录下
cd /usr/local/src/sqoop
# 执行验证命令
bin/sqoop help

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval