sqoop数据导入

open_test01

已于 2023-04-13 17:55:39 修改

阅读量785

点赞数 1

分类专栏： Sqoop 文章标签： sqoop hive mysql

于 2023-04-13 16:47:08 首次发布

本文链接：https://blog.csdn.net/dafsq/article/details/130129333

版权

Sqoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

使用查询条件关键字将mysql数据导入hdfs

mysql数据导入hive

创建数据库

hive中创建user表

create table users(
id bigint,
name string
)
row format delimited fields terminated by "\t";

mysql中创建user表并添加信息

CREATE TABLE `user`  (
  `id` int(20),
  `name` varchar(20)
);

mysql全表数据导入hdfs

全部导入

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--table user \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

参数解读：

bin/sqoop import \ 导入命令
--connect jdbc:mysql://master:3306/spark-sql \ 选择数据源的mysql数据库路径
--username root \ mysql用户名
--password p@ssw0rd \ mysql用户密码
--table user \ 数据源表名
--target-dir /user/company \ 导入到的hdfs路径
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

hdfs中查看导入的结果

mysql查询数据导入hdfs

注意：使用查询导入时必须要在查询语句后面加上 $CONDITIONS

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select * from user where id = 2 and $CONDITIONS;'

hdfs中查看导入的结果

mysql指定列导入hdfs

使用 --columns 来指定导入的列

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns name \
--table user

hdfs中查看导入的结果

使用查询条件关键字将mysql数据导入hdfs

使用 --where来指定查询的条件

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table user \
--where "id=1"

hdfs中查看导入的结果

mysql数据导入hive

其实将mysql导入hive中在中间还是在hdsf中中转存储了一下然后在从hdfs导入到hive中

bin/sqoop import \
--connect jdbc:mysql://master:3306/spark-sql \
--username root \
--password p@ssw0rd \
--table user \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table default.users

参数解读：

--hive-import \ 导入hive的命令
--hive-overwrite \ 写入方式
--hive-table default.users hive表指定数据库中的表：数据库.表

在hive中查看导入结果

导入hive并添加分区字段

sqoop import \
    --connect jdbc:mysql://mysql_host/mydatabase \
    --username mysql_username \
    --password mysql_password \
    --table my_table \
    --hive-import \
    --create-hive-table \
    --hive-table my_db.my_table \
    --hive-partition-key part_col \
    --hive-partition-value '2023-04-13' \
    --target-dir /user/hive/warehouse/my_db.db/my_table/part_col=2023-04-13;

--create-hive-table：生成与关系数据库表结构对应的 hive 表结构

--hive-partition-key：生成分区字段名称

--hive-partition-value：设置分区字段值