基础:hadoop集群已经启动(我用hadoop2.7.3)。zookeeper集群已经启动(我用的是3.4.6)。mysql安装好。
一般sqoop安装在一个节点上就可以了。
一、上传sqoop并解压到你指定的目录。
二、配置sqoop环境变量。这个应该都会。我还是简单介绍下:
1、vim /etc/profile
2、在最后面添加环境变量。一个简单实例如下(配置了java等)
export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/itcast/hadoop-2.7.3
export HIVE_HOME=/itcast/apache-hive-2.3.3-bin
export SQOOP_HOME=/itcast/sqoop-1.4.7
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin
3、刷新 :source /etc/profile
到这里sqoop就完了。简单使用如下,你可以拿去参考,改成你的数据库名,表名。数据库所在ip等:
第一类:数据库中的数据导入到HDFS上
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 --table trade_detail --columns 'id, account, income, expenses'
指定输出路径、指定数据分隔符
sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --pas