hive数据同步（sqoop :Mysql ==>Hive,hive put 文件到hive)

最新推荐文章于 2024-09-19 20:07:48 发布

穿裤衩的文叔

最新推荐文章于 2024-09-19 20:07:48 发布

阅读量1.4k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/Topkipa/article/details/80521671

版权

本文介绍了如何使用Sqoop将MySQL数据同步到Hive表，包括创建匹配的Hive表结构和设置字段分隔符。此外，还讲解了通过Hive的put命令直接上传文件到Hive进行数据同步的过程。

摘要由CSDN通过智能技术生成

一、Sqoop同步mysql数据到hive：

假设我们在Hive里新建了一张测试表info_test，该表对应mysql 数据库中info_test:

 CREATE TABLE info_test(id BIGINT,uid INT, name STRING, tel STRING, )
    row format delimited 
    fields terminated by '~' ;

我们以‘~’分割字符，同时，注意，两张表的字段以及顺序必须一致。

接着，开始利用sqoop同步数据：

sqoop import --connect jdbc:mysql://你的mysql数据库地址/数据库表名（如info_test）?zeroDateTimeBehavior=convertToNull --username (账户) --password （密码） --table mysql数据库表名（如info_test）                --hive-table db名+表名（如info.info_test ）              --hive-import --delete-target-dir -m 1  --hive-overwrite --fields-terminated-by "~"

解释一下几个参数&#x