sqoop

sqoop

sqoop 常用的参数

1.import 将数据导入的数据仓库中

2.export 将集群的数据导入到数据仓库中

3.list-databases 显示所有数据库的名字 list-tablas 显示数据库下所有的表的名字

4.merge 将 hdfs 上的数据 不同的目录下的数据合并在一起 , 然后放到指定的目录

5.import-all-tables 将某一个数据库下面所有的表导入到集群

6.codegen 获取数据库下某张表数据生成 java 并且达成 jar

7.--connect 连接数据库下的 url

8.--driver 手动指定使用的 jdbc 的驱动类

9.--append 将数据附加到 hdfs 中现有的数据集

10.--where 导入期间使用 where 进行过滤

11.-m 使用 n 个 mapper 任务并行导入

12.--hive-overwrite 覆盖已经存在的数据

13. – hive-partition-value 导入数据的数据 , 指定下一个分区

sqoop 如何将两张 mysql 表导入到一张 hive 表中

我们可以在 mysql 中使用 union all 进行两张表合并成一张表 再行导入

bin/sqoop import \

--connect jdbc:mysql://lwh3:3306/mydb \

--username root \

--password 123456 \

--table user \

--hive-table user \

--hive-import \

--m 1

sqoop 导入 hdfs

//hdfs 输出到 mysql 数据以什么分隔导入

bin/sqoop export \

--connect jdbc:mysql://lwh3:3306/mydb \

--username root \

--password 123456 \

--table user \

--export-dir /user.txt \

--input-fields-terminated-by '-'

sqoop import --driver 'com.microsoft.sqlserver.jdbc.SQLServerDriver'

--connect 'jdbc:sqlserver://172.19.79.189:1433;database=easdb'

--username biusers --password 1qazXSW@

--table t_sm_purorderentry --hcatalog-database dw_ods --hcatalog-table ods_jv_purorder_entry_fl_d

--hive-partition-key dt

--hive-partition-value 20210112 -m 1

sqoop hive 到 mysql?

bin/sqoop export \

--connect jdbc:mysql://hdp3:3306/userdb?characterEncoding=utf-8 \

--username root \

--password 123456 \

--table student \

--columns "id,name,age" \

--hcatalog-database default \

--hcatalog-table tmp