sqoop
文章平均质量分 62
AuroraPetard
这个作者很懒,什么都没留下…
展开
-
sqoop安装及使用
官网下载tar -zxvf 修改conf中的 sqoop-env-template.sh 为sqoop-env.sh添加相应的地址然后将数据库驱动链接包放到sqoop lib目录下bin/sqoop 可能会出现Error: Could not find or load main class org.apache.sqoop.Sqoop是因为缺少jar包所致,1.原创 2018-05-08 09:20:21 · 159 阅读 · 0 评论 -
sqoop常见问题
第一个sqoop导出mysql到hive中,在hdfs中可以看到,hadoop fs -cat /user/warehouse/但在hive命令行中show table 却没有最后折腾了好久才发现是数据的问题,mysql中存放的数据有很多字段有空值所以换些数据就ok了,由此可见,从源头找问题导入到hive其实是先导入到hdfs再load 到hive中原创 2018-05-09 11:39:31 · 516 阅读 · 0 评论 -
sqoop 常见用法
1 mysql -> hdfsbin/sqoop import --connect jdbc:mysql://172.16.235.128:3306/test --username root --password 'my' --table items --m 12 mysql->hivebin/sqoop import --connect jdbc:mysql://...原创 2018-05-09 12:15:04 · 320 阅读 · 0 评论 -
Hive 常见问题
1 java.base/jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to java.base/java.net.URLCl其原因是jdk版本过高,我用的是9 ,所以将jdk改为1.8即可,但我还是报这个错误,原因是我没有删除原来的9,hadoop配置的是9。而hive会自动加载hadoop配置so 更改had...原创 2018-04-23 16:29:48 · 599 阅读 · 0 评论 -
sqoop导出到hive数据增多
其实是因为分割符的问题,导入的数据默认的列分隔符是'\001',默认的行分隔符是'\n'。这样问题就来了,如果导入的数据中有'\n',hive会认为一行已经结束,后面的数据被分割成下一行。这种情况下,导入之后hive中数据的行数就比原先数据库中的多,而且会出现数据不一致的情况。简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的...原创 2018-11-21 22:05:48 · 638 阅读 · 0 评论 -
sqoop 利用azkaban导出hive数据到mysql的错误
ERROR tool.ExportTool: Error during export: becauseExport job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439) at org.apache.sqoop.manager.SqlManager.ex...原创 2018-11-24 15:49:37 · 806 阅读 · 0 评论