![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
oozie&sqoop系列
oozie+sqoop 数据同步系列
数据新玩法
这个作者很懒,什么都没留下…
展开
-
sqoop系列-sqoop MongoDB导入Hive方案
方案最近数据异构的项目时需要将MongoDB的数据导入Hive数据仓库中,总结了下,得出一下四种导入方案 1. mongoexport json文件导入 2. mongoexport csv文件导入 3. hive映射mongo库 4. mongodump bson 导入mongoexport json文件导入缺点:mongo导出的json文件中,存在“$”符号,这...原创 2018-06-09 10:05:21 · 10702 阅读 · 15 评论 -
sqoop系列-TextSplitter踩坑记
问题简介今天早上在数据异构项目中导入添加一个mysql导入hive任务,添加后跑任务,任务执行完,界面日志无报错。但是hive中并没生成对应的表。初步定位脚本执行报错,但是没有返回到界面。 备注:涉及敏感信息的的变量,使用${xxxx} 代替问题定位sqoop导入命令如下sqoop import -Dorg.apache.sqoop.splitter.allow_te...原创 2018-06-05 18:59:26 · 3876 阅读 · 5 评论 -
sqoop系列-MySQL导入HIVE时间格问题
问题描述今天早上在做 sqoop MySQL 导入hive数据测试时发现 MySQL 中datetime和timestamp类型的数据导入hive时,选择不同的文件存储格式,会导致导入hive 后字段类型不一致。针对 MySQL 时间类型:datetime,date,time,timestamp 做了如下测试, 备注:涉及敏感信息的的变量,使用${xxxx} 代替MySQL 数据信息...原创 2018-05-30 18:53:21 · 7858 阅读 · 4 评论 -
sqoop系列-增量优化 fecth-size填坑记
用户表6月3、8、9号 在核心项目启动前导入未就绪导入明显比平时长3号出现超时是排查发现该表为全量导入,当时联系业务开发添加增量字段索引,业务开发答复10号左右上线新版本添加,9号添加了version索引,9号添加索引后将导入改为增量导入,这里有个坑,以前正常情况下增量的字段id自增或者修改时间戳,但是version时段是一个bigint类型的时间戳并不是timestamp,使用lastmodify 方式无法增量,只能使用 append 方式,配置如图验证配置无问题,但是导入耗时还是很久 83m原创 2020-06-09 15:48:45 · 1678 阅读 · 0 评论 -
Oozie系列-Action失败重试,不生效排查
失败重试问题描述项目中配置了 retry-max=“3” retry-interval=“2” 但是任务error并不重试。workflow的xml配置如下<workflow-app name="etl_ds_hive2_action-${etl_name}" xmlns="uri:oozie:workflow:0.5"> <start to="hive2_act...原创 2020-05-07 10:00:46 · 766 阅读 · 0 评论 -
sqoop系列-sqoop MySQL 导入Hive JSON 字段乱码
问题简介最近业务方反馈依照导入MySQL表导入Hive有部分字段变更乱码,于是乎走上了解决乱码的不归路。集群信息服务器系统版本:centos 7.2cdh 版本:cdh5.9.0hadoop 版本:2.6.0+cdh5.9.0hive 版本:1.1.0+cdh5.9.0sqoop 版本:1.4.6+cdh5.9.0备注:涉及敏感信息的的变量,使用${xxxx} 代替问题定位首先...原创 2020-02-21 15:33:52 · 1753 阅读 · 4 评论 -
oozie系列-oozie简介
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...原创 2018-05-22 19:05:56 · 906 阅读 · 0 评论 -
oozie系列-Java action 输出变量下一级action调用
步骤描述workflow xml 配置java 代码输出workflow xml 配置备注: 必须添加 <capture-output/><workflow-app xmlns='uri:oozie:workflow:0.1' name='java-wf'> <start to='java1' /> <acti...原创 2018-06-14 19:50:50 · 1395 阅读 · 0 评论