sqoop从msyql抽取数据导入hive,并创建表,分区

bin/sqoop import \
--connect jdbc:mysql://sfbg101:3306/gmall \
--username root \
--password 123456 \
--table activity_info \
--num-mappers 1 \
--hive-import \
--hive-overwrite \
--hive-drop-import-delims \
--hive-database test \
--hive-table ods_activity_info \
--hive-partition-key 'dt' \
--hive-partition-value '20211121' \
--fields-terminated-by '\t' \
--lines-terminated-by '\n' \
--null-string '\\N' \
--null-non-string '\\N' \
--target-dir /test/ods_activity_info 

在这里插入图片描述

sqoop在导入时候,会先导入到hdfs上,然后在移动到hive仓库里面
–target-dir /test/ods_activity_info 临时路径

1、使用sqoop导入时,根据msyql表创建hvie表
2、可以指定分区,分区字段,表名,hvie库名
缺点"
1、hive数据库需要创建
2、数据路径不能参数指定

https://www.cnblogs.com/JBLi/p/10887140.html
http://www.kai8wu.com/Content/artsta/563.html
https://www.wangt.cc/2021/07/sqoop%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE%E5%88%B0hive%E6%97%B6%EF%BC%8C%E8%87%AA%E5%8A%A8%E5%BB%BA%E8%A1%A8/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用 Sqoop 将 MySQL 数据导入Hive ,需要遵循以下步骤: 1. 确保已经安装了 SqoopHive。 2. 在 Hive 创建一个数据库,用于存储导入数据表。 3. 在 HDFS 创建一个目录,用于存储导入数据。 4. 使用 Sqoopimport 命令将 MySQL 数据导入到 HDFS : ``` sqoop import \ --connect jdbc:mysql://mysql-server:3306/mydatabase \ --username mysqluser \ --password mysqlpassword \ --table mytable \ --target-dir /user/hive/warehouse/mydatabase.db/mytable \ --fields-terminated-by ',' \ --hive-import \ --hive-table mydatabase.mytable ``` 其,`jdbc:mysql://mysql-server:3306/mydatabase` 是 MySQL 数据库的连接 URL,`mysqluser` 和 `mysqlpassword` 分别是 MySQL 数据库的用户名和密码,`mytable` 是要导入数据表名,`/user/hive/warehouse/mydatabase.db/mytable` 是数据导入到 HDFS 的目录,`--fields-terminated-by ','` 指定了字段分隔符为逗号,`--hive-import` 表示需要将数据导入Hive ,`--hive-table mydatabase.mytable` 指定了在 Hive 创建的目标表的名称和所在的数据库。 5. 在 Hive 创建一个外部表,将 HDFS 目录数据映射为 Hive 表: ``` CREATE EXTERNAL TABLE mydatabase.mytable ( column1 datatype1, column2 datatype2, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/mydatabase.db/mytable'; ``` 注意,这里的表结构要与 MySQL 数据表的结构保持一致。 6. 使用 Hive 的 INSERT INTO 语句将数据从外部表插入到 Hive: ``` INSERT INTO mydatabase.mytable SELECT * FROM mydatabase.mytable; ``` 这样就完成了将 MySQL 数据导入Hive 的操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值