![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
IT届的peng宇宴
这个作者很懒,什么都没留下…
展开
-
Oozie与DataX集成数据同步(Flask框架版)
目录1.简介2.方案架构3.实施过程3.1 首先将测试代码部署到DataX主机3.2 在DataX主机调起一个http接口3.3 编写一个shell脚本来调用DataX主机的接口3.4 Oozie调起任务1.简介基于DataX执行的ETL调度任务我们常常通过Crontab来进行批量调度。这种方法不方便进行集中化管理,且对于从数据仓库同步到外部数据库的任务无法做到上下游依赖,集成到Oozie中即可解决这样的问题。2.方案架构主要集成方法:使用Oozie自带的shell脚本功能,通过调用接口的方式来执行原创 2020-07-15 17:44:11 · 1299 阅读 · 0 评论 -
[python]数据同步工具DataX之Mysql同步数据至Hive (下)
目录4.告警邮件配置5.对执行成功的任务做标记6.定时调度配置上文请点击:[python]数据同步工具DataX之Mysql同步数据至Hive (上)4.告警邮件配置如果我们配置的是ETL定时任务,当DataX任务调度结束后,往往需要了解运行的结果是什么。因此我们需要为调度任务增加一个报错邮件告警的功能(任务正常执行的话就不再发送邮件),便于我们及时处理报错的任务。这里我们主要使用pyth...原创 2020-05-07 18:38:19 · 940 阅读 · 0 评论 -
[python]数据同步工具DataX之Mysql同步数据至Hive (上)
目录1、DataX简介2 、下载安装2.1 下载2.2 传输2.3 测试3、配置json (以mysql同步至hdfs为列)3.1 配置数据库相关json信息3.2 配置表结构及抽取逻辑相关json信息3.3 对准备好的参数进行json填充3.4 测试json能否正常执行1、DataX简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、S...原创 2020-04-28 18:33:27 · 1539 阅读 · 4 评论