关于Sqoop命令

最新推荐文章于 2024-06-04 17:51:34 发布

来自银河系的程序员

最新推荐文章于 2024-06-04 17:51:34 发布

阅读量412

点赞数

分类专栏： Hbase Hive 文章标签： sqoop hadoop 大数据

本文链接：https://blog.csdn.net/qq_36894763/article/details/127208557

版权

Hbase 同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

Hive

5 篇文章 0 订阅

订阅专栏

关于Sqoop

命令&参数:list-databases

sqoop list-databases \
--connect jdbc:mysql://192.168.0.128:3306/ \
--username duanjc \
--password 123456

sqoop list-tables --connect jdbc:mysql://10.7.86.173:3306/duanjc --username duanjc --password 123456

导入表数据到 HDFS

sqoop import \
--connect jdbc:mysql://192.168.0.128:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name --m 1

sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--split-by id \
--table vehicle_name --m 2

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--target-dir /queryresult \
--table vehicle_name --m 1

导入关系表到HIVE

hadoop fs -rm -r /user/root/vehicle_name

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name \
--hive-import --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--table vehicle_name \
--target-dir /tmp/vehicle_name \
--hive-table vehicle_name_test \
--hive-import --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--where "camera_name ='c102'" \
--target-dir /wherequery \
--columns id,camera_name \
--table vehicle_name --m 1

sqoop import \
--connect jdbc:mysql://10.7.86.173:3306/duanjc \
--username duanjc \
--password 123456 \
--target-dir /wherequery2 \
--query 'select id,camera_name from vehicle_name where camera_name="c102" and $CONDITIONS' \
--split-by id \
--fields-terminated-by '\t' \
--m 1