datax部署

最新推荐文章于 2024-08-10 23:09:14 发布
最新推荐文章于 2024-08-10 23:09:14 发布
阅读量111 收藏
点赞数
文章标签： python
原文链接：http://www.cnblogs.com/ngy0217/p/10619207.html
版权

１.下载：

https://github.com/alibaba/DataX

Clone or download下载源码，拉到下面

Quick Start

Download DataX下载地址　下载安装包

 

２.安装

将下载的安装包，上传到linux上，解压

 

3.配置datax环境变量到/etc/profile中去

 

４.在/datax/bin目录

> python datax.py ../job/job.json执行成功，表示安装成功了

转载于:https://www.cnblogs.com/ngy0217/p/10619207.html

weixin_30907523
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据同步工具—DataX部署使用
10-02 4万+
这一节我们主要介绍了DataX 的使用，使用的时候我们主要是需要配置一个包含reader 的 writer 的json 文件，总体来说使用还是比较简单的，但是配置还是有点繁琐的。
docker运行datax实现数据同步方案 -- docker build 篇
布偶猫爸爸的博客
01-03 3409
上一篇纪录了datax及其docker commit测试方法，这里我推荐使用自动构建docker build构建一个带jdk+maven+python的docker镜像。 docker build基础理论就是先获得一个基础镜像，然后对镜像做的每一步骤操作都封装，一步一步的得到一个多重操作封装过的功能镜像。其中在封装的过程中有几个指定的命令参数，具体可以自行百度，这里分享下用docker buil...
使用Docker部署DataX3.0+DataX-Web
zxz547388910的博客
02-22 3371
注意：datax_web:3.0.1镜像已经整合了datax3.0和datax-web，整合后的镜像大小约990M。1、准备基础镜像，开通所需端口。
docker部署dataX(基于xxl-job)
qq_41974343的博客
07-13 1276
到此部署完毕，只需把dataX的脚本放到/opt/docker/dataX-xxl-job/libs/datax/job 下。便可通过python2 /libs/datax/bin/datax.py /libs/datax/job/脚本名 进行同步！下载地址：https://jdk.java.net/java-se-ri/11-MR2。启动完成后，可通过http://ip地址:8380/xxl-job-admin/访问。再次访问地址http://ip地址:8380/xxl-job-admin/访问。
datax和datax-web打包成docker运行
最新发布
奔跑的菜鸡
08-10 478
datax和datax-web打包成docker运行
Linux环境变量文件及配置
chuangchuangtao的博客
08-25 318
1.系统级： （1）/etc/profile：该文件是用户登录时，操作系统定制用户环境时使用的第一个文件，应用于登录到系统的每一个用户。该文件一般是调用/etc/bash.bashrc文件。 /etc/bash.bashrc：系统级的bashrc文件。 （2）/etc/environment:在登录时操作系统使用的第二个文件,系统在读取你自己的profile前,设置环境文件的环境变量。2.用户
datax安装部署
qq_31904559的博客
04-06 2051
一 前置准备 1、Linux下jdk的安装 2、Linux下Python的安装 (官方推荐2.6.x),实际其他版本目前也可以，本机自带python2.7,使用也是此版本 3、Hadoop完全分布式集群环境 二 安装 源码地址：https://github.com/alibaba/DataX 这 里 我 下 载 的 是 最 新 版 本 的 DataX3.0 。 下 载 地 址 为 ： http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar
DataX 工具安装部署及使用
Ronin_88的博客
08-04 2035
一.DataX的安装​​​​​​​​​​​​​​ 1.环境准备 操作系统为CentOS 7.2及以上版本或RedHat 7.2及以上版本，暂不支持SUSE操作系统。python为2.x版本，java为1.8版本。 新建操作系统用户admin。安装DataX使用root用户安装。 2.安装 用root用户执行： rpm -ivh t_dp_dw_datax_3_core_all-20191202-external.noarch.rpm 3.DataX的执行 3.1命令格式： pytho.
dataX部署以及常见问题解答
01-18
DataX 部署及常见问题解答 DataX 是一款由阿里巴巴开源的数据同步工具，支持多种数据源之间的数据同步。以下是 DataX 的部署及常见问题解答。 部署方法 DataX 提供了两种部署方式：直接下载 DataX 工具包和下载 ...
datax安装配置部署
q412406513的博客
01-04 3367
datax安装需要的环境 JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Maven 3.x (Compile DataX) 1.python环境的安装 python语言的安装不需要去配环境变量，安装的过程只要勾选了自动配环境变量就好了 但是需要注意的事python2和python3有着很大的语法区别，所以在选择的时候要注意好选择需要的版本 然后搜索框中输入“cmd”——回车，启动命令提示符——输入Python即可查询语言是否安装成功 2.dataX的理解 Dat
1、datax3.0部署与验证
05-29
【DataX3.0简介】 DataX3.0是阿里云DataWorks数据集成的开源版本，专注于离线数据同步，广泛应用于阿里巴巴集团内部。它旨在高效地同步多种异构数据源，如MySQL、Oracle、HDFS等，通过其强大的Reader和Writer插件...
DataX3.0配置过程
weixin_34185320的博客
10-12 254
2019独角兽企业重金招聘Python工程师标准>>> ...
/etc/profile环境变量配置解析
hope_learn的专栏
08-04 674
<br />转自（http://it.china-b.com/lixt/457028.html）<br />与环境变量相关的文件可能还会有/etc/bashrc等，不过这是shell变量，是局部的，对于特定的shell器作用。/etc/profile是全局的，适用于所有的shell.<br /><br />　　profile文件会告诉shell使用什么语言，什么shell，命令的搜索路径等等。<br /><br />　　一些标准的环境变量：<br /><br />　　SHELL 默认shell<br /><
数据同步工具datax配置与示例
空空
04-07 2438
datax安装配置及简单示例。
使用docker部署datax和datax-web
weixin_43991475的博客
05-12 5670
1、准备基础镜像，开通所需端口 firewall-cmd --zone=public --add-port=3306/tcp --permanent firewall-cmd --zone=public --add-port=9527/tcp --permanent firewall-cmd --reload systemctl stop docker systemctl restart docker docker pull mysql:8.0.27 docker pull linshellfeng/dat
docker部署datax
cqscf的博客
02-16 1554
docker部署datax（3.x）。
DataX及DataX-Web容器化镜像构建、部署、集群部署方案
gmHappy
05-13 2922
需求分析 利用Docker对DataX和Datax-Web进行容器化部署，搭建数据同步平台。 DataX简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 官网地址：https://github.com/alibaba/DataX 支持的数据源： 类型 数
datax-web docker部署
zhangchaoultra的博客
12-03 3425
datax-web-docker 此项目只用于使用容器化部署docker-web，且不够完善，正常使用没有问题。 源项目地址：https://github.com/WeiYe-Jing/datax-web 希望大家多多支持原作者 docker内部网络访问 创建虚拟网络命令如下： network create --subnet=172.10.0.0/24 datax-network 获取datax-admin镜像 目前版本2.1.2 tag v1 基础环境 tag v2 自带datax-admin + 基础
DataX的安装及使用
shike1998的博客
12-07 1000
DataX的安装及使用 文章目录DataX的安装及使用DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBase DataX
DataX部署详解与常见问题及源码修改指南
本文档主要介绍了如何部署阿里巴巴开源的数据集成工具DataX，并提供了常见问题的解答和源码编译步骤。DataX是阿里巴巴内部广泛使用的高效数据传输工具，用于实时或批量的异构数据源之间的数据交换。 首先，对于部署...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值