sqoop从hive导出到mysql数据缺失的解决方法

1,hive创建表的语句

CREATE TABLE `olympic_data`(
  `name` string,
  `age` int,
  `state` string,
  `year` string,
  `date` string,
  `project` string,
  `gold` int,
  `silver` int,
  `bronze` int,
  `total` int)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'

2,mysql中创建表的语句:

CREATE TABLE `olympic_data` (
  `name` varchar(20) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `state` varchar(20) DEFAULT NULL,
  `year` varchar(20) DEFAULT NULL,
  `date` varchar(20) DEFAULT NULL,
  `project` varchar(20) DEFAULT NULL,
  `gold` int(11) DEFAULT NULL,
  `silver` int(11) DEFAULT NULL,
  `bronze` int(11) DEFAULT NULL,
  `total` int(11) DEFAULT NULL
)CHARSET=utf8

3,sqoop导出语句:

sqoop export \
--connect jdbc:mysql://master:3306/testdb \
--username hive \
--password 123456 \
--table olympic_data \
--export-dir /user/hive/warehouse/testdb.db/olympic_data/olympic_data.csv \
--fields-terminated-by '\t'

4,结果发现hive中原本有8618条数据,结果导出到mysql中发现数据只有8100条数据,然后我尝试调大map的个数到100,结果还是存在数据丢失。
hive中数据个数:
在这里插入图片描述

mysql中数据个数:
在这里插入图片描述

sqoop export \
--connect jdbc:mysql://master:3306/testdb \
--username hive \
--password 123456 \
--table olympic_data \
--export-dir /user/hive/warehouse/testdb.db/olympic_data/olympic_data.csv \
--fields-terminated-by '\t' \
-m 100

结果还是发现还是只有8100条数据,
5,最后我尝试加了-direct参数,结果发现数据全部导入成功。

sqoop export \
--connect jdbc:mysql://master:3306/testdb \
--username hive \
--password 123456 \
--table olympic_data \
--export-dir /user/hive/warehouse/testdb.db/olympic_data/olympic_data.csv \
--fields-terminated-by '\t' \
-direct

6,最后查了资料说direct参数是一种快速模式,是一种比JDBC更高效的将数据导入到关系型数据库方式。

  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值