DataX准备4：在Linux8上安装DataX

最新推荐文章于 2024-06-25 22:54:10 发布
最新推荐文章于 2024-06-25 22:54:10 发布
阅读量350 收藏 1
点赞数 1
分类专栏： ETL:DataX工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42967961/article/details/116798978
版权
本文介绍了如何在Linux CentOS8系统上安装DataX及其Web管理界面DataX_web的详细步骤，包括安装Python，下载DataX工具包，从GitHub获取DataX_web源码并编译，配置权限，安装数据库，修改配置文件，以及启动和验证DataX服务。
摘要由CSDN通过智能技术生成

1.
centos8默认没有安装python，但在bin目录下有python的相关信息
在这里插入图片描述
自己安装，使用yum install python2
在这里插入图片描述
将python2设定为默认
sudo alternatives --set python /usr/bin/python2
在这里插入图片描述

2.
使用

git cloune https://github.com/alibaba/DataX.git
mvn -U clean package assembly:assembly
最低0.47元/天 解锁文章
qq_42967961
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据DataX（三）：DataX安装及使用
Lansonli（蓝深李）的博客
02-18 3561
注意：以上“ErrorLimit”设置指的是在Datax中Job支持用户对于脏数据的自定义监控和告警，包括对脏数据最大记录数阈值（record值）或者脏数据占比阈值（percentage值），当Job传输过程出现的脏数据大于用户指定的数量/百分比，DataX Job报错退出。DataX自带了一个“streamreader”读入数据、“streamwriter”写出数据的自检脚本，可以运行此脚本检查DataX是否正常运行。
DataX | 在Liunx上安装和使用
慌途L
10-25 8489
一、DataX3.0 概述和核心优势 参考官网，这里就不多做介绍：DataX3.0介绍. DataX快速开始说明：快速开始文档. 二、Liunx 上安装DataX 1.查看当前linux是什么系统版本： 查看系统的名称，命令：uname 查看具体的系统版本，命令：cat /etc/redhat-release 2.查看是否具备jdk和python环境： 查看jdk版本，命令：java -version 查看python的版本，命令：python -v 注意： JDK(1.6以上，1.8即可)
大数据学习之DataX
最新发布
m0_58050808的博客
06-25 1207
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
linux datax安装
weixin_42489619的博客
03-17 5277
一、DataX介绍： DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、安装时环境 1、IDK1.8(我这个datax安装包需要jdk1.8以上) 2.python2.* （我没有安装python,使用的是liunx自带的python） 查看linux python版本：python -V 三、安装包下载 下载页面地址： https:
CentOS8安装DataX
熊浪的博客
06-13 267
1、下载安装包 2、上传tar.gz包 3、解压
linux安装dataX
hzp666的博客
10-16 3109
该文章 介绍安装dataX，以及Oracle 到 pg 库，遇到的一些坑。
DataX准备1：在Linux8上安装mysql
qq_42967961的博客
05-14 232
**1.**在官网：https://dev.mysql.com/downloads/repo/yum/ 找到对应Linux系统版本的mysql **2.**选择不登录 **3.**将url复制出来得到rpm包地址 https://repo.mysql.com//mysql80-community-release-el8-1.noarch.rpm **4.**下载和安装mysql的源，使用wget命令加上复制下来的url地址 5 如果显示wget未找到命令，则需要先安装wget： yum -y inst
DataX准备2：Linux上安装JDK
qq_42967961的博客
05-14 292
1. 在官网下载需要版本的JDK包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 账号：2696671285@qq.com 密码：Oracle123 账号提供者：https://blog.csdn.net/WNsshssm/article/details/84315519 2. 使用命令行解压 cd /usr/local tar -zxvf jdk-8u181-linux-x64.ta
javase源码-datax-web:dataxweb。datax中的web配置界面没有集成在一起开源出来，此为web端配置项目
06-04
java se源码 主要功能 提供一个 web 系统，方便开发人员快速创建作业 ...datax安装目录： export DATAX_HOME=... datax源码目录： export DATAX_SRC_HOME=... datax作业文件保存目录： export DATAX_JSON_HOME=...
linux部署安装DataX和DataX-Web
localhost
05-13 2018
linux部署安装DataX和DataX-Web
datax
eric_lee的专栏
01-24 1135
python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json {     "job": {         "setting": {        
DataX
忄凝^的博客
08-26 592
DataX 这里目录标题DataX1、DataX3.0概览1.1. 设计理念1.2. 当前使用现状3、DataX 3.0六大核心优势3.1. 可靠的数据质量监控3.2. 丰富的数据转换功能3.3. 精准的速度控制3.4. 强劲的同步性能3.5. 健壮的容错机制3.6. 极简的使用体验4、工具对比（Datax,Flume,Sqoop）4.1、DataX4.2、Flume4.3、Sqoop6、 DataX3.0框架设计6.1. 核心模块介绍6.2. DataX调度流程6.3. DataX-
DATAX Linux安装教程：环境配置与开发实战
本文档详细介绍了在Linux系统环境下安装和开发DATAX的过程。DATAX是一款由阿里巴巴开源的大规模数据迁移工具，主要用于Hadoop HDFS、MySQL等数据源之间的数据迁移。以下是主要内容的详细解读： 1. **DATAX安装步骤*...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值