![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Sqoop
孙行者Monkey
1.每天进步一丢丢,做个有趣的人 2.种一棵树最好时间是十年前,其次是现在 3.每个人都有一个觉醒期,但觉醒的早晚决定个人的命运 4.知行合一,知道了不去做,等于不知道
展开
-
实用 | Sqoop数据导出一致性问题
1)场景1:如Sqoop在导出到Mysql时,使用4个Map任务,过程中有2个任务失败,那此时MySQL中存储了另外两个Map任务导入的数据,此时老板正好看到了这个报表数据。而开发工程师发现任务失败后,会调试问题并最终将全部数据正确的导入MySQL,那后面老板再次看报表数据,发现本次看到的数据与之前的不一致,这在生产环境是不允许的。官网:http://sqoop.apache.org/docs...原创 2020-02-09 21:15:05 · 1635 阅读 · 0 评论 -
sqoop导出到mysql遇到哪些问题
关于导出update还是insert的问题--update-mode:updateonly 只更新,无法插入新数据allowinsert 允许新增--update-key:允许更新的情况下,指定哪些字段匹配视为同一条数据,进行更新而不增加。多个字段用逗号分隔。--input-null-string和--input-null-non-string:分...原创 2020-02-09 21:13:18 · 493 阅读 · 0 评论 -
RDBMS到Hbase
$ bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/company \--username root \--password 000000 \--table company \--columns "id,name,sex" \--column-family "info" \--hbase-create-table \...原创 2019-10-22 14:23:03 · 241 阅读 · 0 评论 -
RDBMS到Hive
提示:该过程分为两步,第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库,第一步默认的临时目录是/user/${username}/表名$ bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/company \--username root \--password 000000 \--table ...原创 2019-10-22 14:17:50 · 386 阅读 · 0 评论 -
RDBMS到HDFS
1) 确定Mysql服务开启正常2) 在Mysql中新建一张表并插入一些数据$ mysql -uroot -p000000mysql> create database company;mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(2...原创 2019-10-22 14:15:58 · 352 阅读 · 0 评论