Sqoop import

 import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
--m
2
--split-by
age
--target-dir
/sqoop/data/student1

--delete-target-dir
--fields-terminated-by
','

[root@master ~]# cd /usr/local/soft/sqoop-1.4.7/
[root@master sqoop-1.4.7]# ls
bin            ivy          README.txt
build.xml      ivy.xml      sqoop-1.4.7.jar
CHANGELOG.txt  lib          sqoop-patch-review.py
COMPILING.txt  LICENSE.txt  sqoop-test-1.4.7.jar
conf           NOTICE.txt   src
docs           pom-old.xml  testdata
[root@master sqoop-1.4.7]# mkdir scripts
[root@master sqoop-1.4.7]# cd scripts/
[root@master scripts]# vim MySQLToHDFS.conf

import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
--m
4
--split-by
age
--target-dir
/sqoop/data/student2

--delete-target-dir
--fields-terminated-by
','
--hive-import
--hive-overwrite
--create-hive-table

 export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.7.6
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-2.7.6/share/hadoop/mapreduce
export HBASE_HOME=/usr/local/soft/hbase-1.4.6
export HIVE_HOME=/usr/local/soft/hive-1.2.1
export HIVE_CONF_DIR=/usr/local/soft/hive-1.2.1/conf
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.4.6/conf
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6

vim /etc/profile
# 加入如下内容
export HADOOP_CLASSPATH=$HADOOP_HOME/lib:$HIVE_HOME/lib/*

# 重新加载环境变量
source /etc/profile

或者

[root@master lib]# cp  hive-common-1.2.1.jar /usr/local/soft/sqoop-1.4.7/lib/
[root@master lib]# cp hive-exec-1.2.1.jar /usr/local/soft/sqoop-1.4.7/lib/

hive> select * from student limit 10;
OK
1500100006	边昂雄	21	男	理科二班
1500100009	沈德昌	21	男	理科一班
1500100011	宰运华	21	男	理科三班
1500100012	梁易槐	21	女	理科一班
1500100015	宦怀绿	21	女	理科一班
1500100017	高芷天	21	女	理科五班
1500100018	骆怜雪	21	女	文科六班
1500100026	向鹏池	21	男	理科四班
1500100027	路辰锟	21	男	文科四班
1500100029	滕旭炎	21	男	理科二班
Time taken: 0.267 seconds, Fetched: 10 row(s)

import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
student
--m
4
--split-by
age
--target-dir
/sqoop/data/student2

--delete-target-dir
--fields-terminated-by
','
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
stu

 import 
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
score
--fields-terminated-by
"\t"
--lines-terminated-by
"\n"
--m
3
--split-by
id
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
testsqoop
--hive-table
score
--delete-target-dir

hive> create database stu;
OK
Time taken: 0.093 seconds
hive> create database testsqoop
    > ;
OK
Time taken: 0.022 seconds
hive> use testsqoop;
OK
Time taken: 0.016 seconds
hive> show tables;
OK
score
Time taken: 0.017 seconds, Fetched: 1 row(s)
hive> select * from score limit 10;
OK
1500100001	1000001	98
1500100001	1000002	5
1500100001	1000003	137
1500100001	1000004	29
1500100001	1000005	85
1500100001	1000006	52
1500100002	1000001	139
1500100002	1000002	102
1500100002	1000003	44
1500100002	1000004	18
Time taken: 0.204 seconds, Fetched: 10 row(s)

import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--table
score
--fields-terminated-by
"\t"
--lines-terminated-by
"\n"
--m
3
--split-by
id
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
testsqoop
--hive-table
score
--delete-target-dir
--direct

[root@master scripts]# scp /usr/bin/mysqldump node1:/usr/bin/
mysqldump                     100% 9601KB  86.9MB/s   00:00    
[root@master scripts]# scp /usr/bin/mysqldump node2:/usr/bin/
mysqldump                     100% 9601KB  72.6MB/s   00:00    

 import
--connect
jdbc:mysql://master:3306/student?useSSL=false
--username
root
--password
123456
--e
"select * from student where clazz='文科一班' and $CONDITIONS"
--m
4
--split-by
age
--target-dir
/sqoop/data/student3
--delete-target-dir
--fields-terminated-by
','
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
stu
--hive-table
new_stu

hive> use stu
    > ;
OK
Time taken: 0.013 seconds
hive> show tables;
OK
new_stu
student
Time taken: 0.015 seconds, Fetched: 2 row(s)
hive> select * from new_stu limit 10;
OK
1500100118	蔺昆宇	21	男	文科一班
1500100142	闵华晖	21	男	文科一班
1500100178	杜芷天	21	女	文科一班
1500100217	弘寄南	21	女	文科一班
1500100232	石寄琴	21	女	文科一班
1500100342	米昊明	21	男	文科一班
1500100370	翟笑天	21	女	文科一班
1500100376	庾胤运	21	男	文科一班
1500100407	束昊磊	21	男	文科一班
1500100585	穆海超	21	男	文科一班
Time taken: 0.043 seconds, Fetched: 10 row(s)