sqoop1.4.7安装及简单使用方法

最新推荐文章于 2023-07-12 15:19:30 发布

又见藤蔓

最新推荐文章于 2023-07-12 15:19:30 发布

阅读量1.1k

点赞数

分类专栏： hadoop 文章标签： sqoop 安装实例

本文链接：https://blog.csdn.net/youjiangtengwan1/article/details/83656603

版权

本文介绍了sqoop 1.4.7的安装步骤，包括环境配置，如Hadoop、Zookeeper和MySQL的先决条件。接着详细展示了如何设置sqoop环境变量，并提供了一系列sqoop导入和导出数据库到HDFS的实例，包括指定连接、输出路径、分隔符、Map数量、WHERE条件和QUERY语句的使用。同时，文章还提到了MySQL远程连接的配置方法。

摘要由CSDN通过智能技术生成

基础:hadoop集群已经启动(我用hadoop2.7.3)。zookeeper集群已经启动(我用的是3.4.6)。mysql安装好。

一般sqoop安装在一个节点上就可以了。

一、上传sqoop并解压到你指定的目录。

二、配置sqoop环境变量。这个应该都会。我还是简单介绍下:

1、vim /etc/profile

2、在最后面添加环境变量。一个简单实例如下(配置了java等)

export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/itcast/hadoop-2.7.3
export HIVE_HOME=/itcast/apache-hive-2.3.3-bin
export SQOOP_HOME=/itcast/sqoop-1.4.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin
3、刷新 :source /etc/profile

到这里sqoop就完了。简单使用如下，你可以拿去参考，改成你的数据库名,表名。数据库所在ip等：

   第一类：数据库中的数据导入到HDFS上
       sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --columns 'id, account, income, expenses'

       指定输出路径、指定数据分隔符
       sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --pas