Sqoop
lvtula
这个作者很懒,什么都没留下…
展开
-
sqoop导mysql数据到hive中出现如下错误
18/09/08 22:50:11 INFO mapreduce.ImportJobBase: Transferred 191 bytes in 26.5078 seconds (7.2054 bytes/sec)18/09/08 22:50:11 INFO mapreduce.ImportJobBase: Retrieved 5 records.18/09/08 22:50:11 INFO ...原创 2018-09-08 23:03:26 · 497 阅读 · 0 评论 -
sqoop迁移hive数据到mysql提示如下错误
Caused by: java.lang.RuntimeException: Can't parse input data: '{"com_juzi_id":"0","com_status_name":"正常","cat_name":"智能硬件","com_city":"北京","com_xiniu_id":"207573","com_logo_archive":"https://api.xin...原创 2019-06-17 11:40:59 · 1063 阅读 · 0 评论 -
sqoop迁移数据提示如下
Caused by: java.lang.RuntimeException: Can't parse input data: '71a9bd3540d717ce9aaf2f41164e25a4' at cx_company_detail_dev_cx.__loadFromFields(cx_company_detail_dev_cx.java:2129) at cx_company_deta...原创 2019-06-17 11:36:16 · 676 阅读 · 0 评论 -
sqoop导出hive数据到mysql避免空值
sqoop export --connect jdbc:mysql://ip:3306/eqpt_base_db?characterEncoding=utf8 --username root --password secret_password --table A_JQZ_T_GAS_GET_ORDER_NUM_INFO_S --export-dir /user/hive/warehouse/...转载 2019-05-21 10:59:19 · 1239 阅读 · 1 评论 -
SQOOP 解决import时字段为NULL值的情况
想必有些朋友刚开始接触sqoop时,在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL, 为什么到hive查询后 where field is null 会没有结果呢,然后通过检查一看 居然NULL值都变成了字段串'null'。其实你在导入的时候加上以下两个参数就可以解决了,--null-string '\\N'--null-non...转载 2019-05-14 14:36:44 · 6145 阅读 · 1 评论 -
sqoop导出到hive数据增多
其实是因为分割符的问题,导入的数据默认的列分隔符是'\001',默认的行分隔符是'\n'。这样问题就来了,如果导入的数据中有'\n',hive会认为一行已经结束,后面的数据被分割成下一行。这种情况下,导入之后hive中数据的行数就比原先数据库中的多,而且会出现数据不一致的情况。简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的...原创 2019-04-18 14:53:12 · 460 阅读 · 0 评论 -
大数据入门到精通18--sqoop 导入关系库到hdfs中和hive表中
一,选择数据库,这里使用标准mysql sakila数据库mysql -u root -D sakila -p二。首先尝试把表中的数据导入到hdfs文件中,这样后续就可以使用spark来dataframe或者rdd来处理数据sqoop import --connect "jdbc:mysql://host03.xyy:3306/sakila" --username root --pas...原创 2019-04-08 17:05:28 · 281 阅读 · 0 评论 -
Sqoop导入所有一个库的所有表
参考:Sqoop导入所有表https://www.yiibai.com/sqoop/sqoop_import_all_tables.htmlhttps://www.jianshu.com/p/da2a073f279d利用sqoop实现mysql与Hdfs间的数据的导入导出sqoop-import-all-tableshttps://www.liangzl.com/get-articl...原创 2019-04-08 16:50:01 · 1982 阅读 · 0 评论 -
Sqoop导入mysql所有表到HDFS
1、sqoop-import-all-tables导入多表[root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --username root --password 123456 --as-textfile --warehouse-dir /user/rootWa...转载 2019-04-08 16:32:32 · 766 阅读 · 0 评论 -
sqoop-import-all-tables导入一个库的所有表到hdfs中
sqoop import-all-tables \--connect jdbc:mysql://ip:3306/库名 \--username 用户名 \--password 密码 \--warehouse-dir /opt/pachong/库名 \--autoreset-to-one-mapper \-m 4注意:使用sqoop import-all-tables到hdfs时不能使...原创 2019-04-10 14:23:32 · 1398 阅读 · 0 评论 -
sqoop将Mysql数据导入Hive中
参考https://blog.csdn.net/wangyang1354/article/details/52936400https://blog.csdn.net/u013850277/article/details/78808631https://blog.csdn.net/Gavin_chun/article/details/78314065https://blog.csdn...原创 2019-03-11 16:26:01 · 107 阅读 · 0 评论 -
当hive表底层存储文件是json格式时如何sqoop export
sqoop export \--connect 'jdbc:mysql://xxx:3306/online?useUnicode=true&characterEncoding=utf8' \--username xxx \--password xxx \--table xxx \--hcatalog-database xxx \--hcatalog-table xxx \--...原创 2019-06-18 16:21:38 · 541 阅读 · 0 评论