关于Sqoop命令

关于Sqoop

命令&参数:list-databases

sqoop list-databases \
--connect jdbc:mysql://192.168.0.128:3306/ \
--username duanjc \
--password 123456

sqoop list-tables --connect jdbc:mysql://10.7.86.173:3306/duanjc --username duanjc --password 123456

导入表数据到 HDFS

sqoop import \
--connect jdbc:mysql://192.168.0.128:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name --m 1

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--split-by id \
--table vehicle_name --m 2

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--target-dir /queryresult \
--table vehicle_name --m 1

导入关系表到HIVE

hadoop fs -rm -r /user/root/vehicle_name

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name \
--hive-import --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name \
--target-dir /tmp/vehicle_name \
--hive-table vehicle_name_test \
--hive-import --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--where "camera_name ='c102'" \
--target-dir /wherequery \
--columns id,camera_name \
--table vehicle_name --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--target-dir /wherequery2 \
--query 'select id,camera_name from vehicle_name where camera_name="c102" and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 1