Sqoop
文章平均质量分 71
fantuanbaba
这个作者很懒,什么都没留下…
展开
-
优化你的Sqoop import程序
概述 本文对Sqoop原理进行分析,结合实战经验,给出一些优化策略。对如下问题给出建议。 怎样让sqoop快起来? 该用那个字段做分片? m 应该设置成多少? 可以用时间字段做分片么? 为什么写入Hbase把RS写挂了? 本文只讨论sqoop 1 的import。 用途 Sqoop通常被用来做关系型数据库与Hadoop生态的数据交换。从语法上看...原创 2018-11-26 15:26:05 · 3853 阅读 · 0 评论 -
Hue中Sqoop Editor使用--query的坑
概述 本文描述了在Hue中Sqoop Editor使用--query的问题及解决办法。 问题 一个可以在终端运行的带—query的Sqoop脚本,在HUE 4.*版本中使用Sqoop1 Editor运行时job killed。 排查 查看Yarn日志发现一组报错,看样子 结尾的“\”不会被当作换行符,而是被认成了参数。 删...原创 2018-11-27 16:45:31 · 3411 阅读 · 0 评论