Sqoop配置

Step 1：
Sqoop URL： http://apache.claz.org/sqoop/1.4.6/
版本：1.4.6

Step 2：
到上述地址下载Sqoop 1.4.6

Step 3：
在一个节点上（node11）上执行命令：

mkdir -p /opt/apps/Sqoop

Step 4：
使用xftp将下载的Sqoop tar包上传到上面的路径

Step 5：
执行命令：

tar -zxvf /opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

Step 6：
下载一个mysql的jar包，使用xftp上传到解压后的lib下面：
/opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib
mysql-connector-java-5.1.32-bin.jar

Step 7：
执行命令：——配置环境变量SQOOP_HOME

vi ~/.bash_profile
source ~/.bash_profile

Step 8：
分别在三个节点上执行命令——启动zookeeper集群

zkServer.sh start

Step 8：
在node11节点执行命令，启动集群（hdfs、yarn）在node11和node12手动启动resourcemanager

start-all.sh
yarn-daemon.sh start resourcemanager

Step 9：
打开浏览器，输入下列网址，进行确认是否正常
http://192.168.80.11:50070/dfshealth.html#tab-overview
http://192.168.80.12:50070/dfshealth.html#tab-overview
http://192.168.80.11:8088
http://192.168.80.12:8088

Step 10：
在node11节点上执行命令，启动mysql 服务

service mysqld start

Step 11：
执行命令，进入mysql

mysql -uroot -p

Step 12：
在mysql中执行命令：

show databases;

Step 13：
在node11节点执行命令：

vi /opt/apps/Sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/testdata/option1

编辑配置文件：

import
--connect
jdbc:mysql://node11/mysql
--username
root
--password
123123
--query
select * from user WHERE $CONDITIONS
--target-dir
hdfs://ymf/sqoop/data
--delete-target-dir
-m
1
--as-textfile

Step 14：
在node11节点执行命令，复制配置文件，命名为sqoop-env.sh

cp /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env-template.sh /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env.sh

Step 15：
执行命令，对sqoop-env.sh 进行编辑

vi /opt/apps/Sqoop/sqoop-1.4.6/conf/sqoop-env.sh

添加Hadoop的安装路径

export HADOOP_COMMON_HOME=/opt/apps/hadoop/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/opt/apps/hadoop/hadoop-2.6.0
export HBASE_HOME=/opt/apps/HBase/hbase-1.1.3
export HIVE_HOME=/opt/apps/hive/apache-hive-1.2.1-bin
export ZOOCFGDIR=/opt/apps/zookeeper/zookeeper-3.4.8

Step 16：
在node11节点上执行命令：

sqoop --options-file /opt/apps/Sqoop/sqoop-1.4.6/testdata/option1

Step 17：
在hadoop中执行命令，查看是否成功导入

hadoop fs -cat /sqoop/data/part-m-00000