datax
进击吧-码农
这个作者很懒,什么都没留下…
展开
-
datax定时同步在doker中自动化部署
一、Dockerfile文件编写(1)这是一个Dockerfile的例子,我在这里用的是ubuntu 16:#基础镜像FROM ubuntu:16.04#安装必要的安装包,我这里用的是datax解压的版本,不需要maven,这里依赖环境python、jdk8、cron、rsyslog、tzdata #cron这里是使用crontab,进行定时任务RUN apt-get upd...原创 2019-01-23 20:48:18 · 755 阅读 · 0 评论 -
Datax介绍
1.datax简介 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 )、ODPS(ODPS是分布式的海量数据...原创 2019-01-14 16:02:39 · 13105 阅读 · 3 评论