CDH5.13.0集群环境 安装部署datax-web（集群部署，log4j版本为2.16）

已于 2024-04-18 18:31:24 修改
阅读量1.4k 收藏 2
点赞数 2
分类专栏： 组件安装 文章标签： 前端 服务器 mysql
于 2021-12-21 18:10:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51485976/article/details/122069504
版权

文章目录

前言

上回书说道data-web单机部署，这次聊一下集群部署

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装环境准备（每台服务器环境同样部署）

由于上一篇cdh01服务器已安装完毕，这里只部署cdh02 cdh03，以部署cdh02为例，cdh03同理。
集群部署服务器角色分配：
datax-admin:cdh01
datax-executor:cdh01 cdh03 cdh03

参考上一篇： :https://blog.csdn.net/weixin_51485976/article/details/122062993

二、DataX 安装（每台服务器同样安装部署）

由于上一篇cdh01服务器已安装完毕，这里只部署cdh02 cdh03
参考上一篇：
:https://blog.csdn.net/weixin_51485976/article/details/122062993

三、DataX-WEB 安装部署

由于上一篇cdh01服务器已安装完毕，这里只部署cdh02 cdh03

1.IDEA编译打包（由于集群为CDH5.13.0,为了版本适配自己编译打包）

下载链接：https://pan.baidu.com/s/13a8nIpz6FL8y4fdE94trjQ
提取码：data
备注:官方提供的版本tar版本包
https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 提取码：cpsk

2.解压安装包

在选定的安装目录，解压安装包

[root@cdh02 soft]# tar -zxvf datax-web-2.1.2.tar.gz -C /data/

3.执行一键安装脚本

如果cdh02或者cdh03服务器没有mysql客户端，建议安装mysql客户端，便于下面安装。
进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

[root@cdh02 bin]# ./install.sh

然后按照提示操作即可。包含了数据库初始化，如果你的服务上安装有mysql命令，在执行安装脚本的过程中则会出现以下提醒：

Scan out mysql command, so begin to initalize the database
Do you want to initalize database with sql: [{INSTALL_PATH}/bin/db/datax-web.sql]? (Y/N)y
Please input the db host(default: 127.0.0.1): 
Please input the db port(default: 3306): 
Please input the db username(default: root): 
Please input the db password(default: ):

host输入cdh01的IP，
port username password 依次输入。

3.其他配置

3.1邮件服务

在项目目录：/data/datax-web-2.1.2/modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)

MAIL_USERNAME=""
MAIL_PASSWORD=""

此文件中包括一些默认配置参数，例如：server.port，具体请查看文件。

3.2指定PYTHON_PATH的路径

vim /data/datax-web-2.1.2/modules/datax-executor/bin/env.properties

### 执行datax的python脚本地址
PYTHON_PATH=/data/datax/bin/datax.py

### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
DATAX_ADMIN_PORT=

此文件中包括一些默认配置参数，例如：executor.port,json.path,data.path等，具体请查看文件。

3.3datax-executor配置文件

/data/datax-web-2.1.2/modules/datax-executor/conf/application.yml
建议将application.yml文件中的cdh01改成cdh01的IP

vim /data/datax-web-2.1.2/modules/datax-executor/conf/application.yml
addresses: http://cdh01的ip:${datax.admin.port}
ip: cdh02的ip

4.启动服务

启动datax-executor服务即可

[root@cdh02 datax-web-2.1.2]# cd /data/datax-web-2.1.2
[root@cdh02 datax-web-2.1.2]# ./bin/start.sh -m datax-executor

5.查看服务

在Linux环境下使用JPS命令，查看是否出现DataXExecutorApplication进程，如果存在这表示项目运行成功。

如果项目启动失败，请检查启动日志：
modules/datax-admin/bin/console.out
或者
modules/datax-executor/bin/console.out

ips: 脚本使用的都是bash指令集，如若使用sh调用脚本，可能会有未知的错误

四、DataX-WEB 添加执行器

参考：https://blog.csdn.net/weixin_51485976/article/details/122062993
在这里插入图片描述
可以把每台服务器作为一个执行器，也可以将所有服务器作为一个执行器组，便于容错任务。
在这里插入图片描述

五、datax配置hadoop HA（高可用）

方法一：将原来的"defaultFS":“hdfs://xxxx:8020”,替换成下面的，解决高可用问题

"defaultFS":"hdfs://nameservice1",
"hadoopConfig":{
   "dfs.nameservices":"nameservice1",
   "dfs.ha.namenodes.nameservice1":"nn01,nn02",
   "dfs.namenode.rpc-address.nameservice1.nn01":"hdfs://xxxx:8020",
   "dfs.namenode.rpc-address.nameservice1.nn02":"hdfs://xxxx:8020",
   "dfs.client.failover.proxy.provider.nameservice1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
   "dfs.ha.automatic-failover.enabled.yournamespace":"true"
},

方法二：将hdfs-site.xml，core-site.xml，hive-site.xml放到datax/plugin/reader/hdfsreader/hdfsreader-0.0.1-SNAPSHOT.jar包中。
用压缩工具打开hdfsreader-0.0.1-SNAPSHOT.jar（如好压工具打开，非解压），将上面三个文件直接拖入即可。如果是拷贝hdfsreader-0.0.1-SNAPSHOT.jar到其他路径下操作的，将操作完的jar包替换掉原来datax对应hdfsreader路径下的hdfsreader-0.0.1-SNAPSHOT.jar

六、datax-web数据源配置

1.配置mongodb数据源

mongodb://用户名:密码@ip:端口号/?authMechanism=SCRAM-SHA-1&authSource=库名

在这里插入图片描述

2.配置mysql数据源

jdbc:mysql://ip:端口号/库名

在这里插入图片描述

3.配置hive数据源

jdbc:hive2://ip:10000/库名

在这里插入图片描述

4.配置clickhouse数据源

jdbc:clickhouse://ip:端口号/库名

在这里插入图片描述

综上 欢迎大家在评论区留言，知识共享！！！
参考网址

data-web一键部署
链接：https://gitee.com/WeiYe-Jing/datax-web#linux%E4%B8%80%E9%94%AE%E9%83%A8%E7%BD%B2
链接：https://github.com/WeiYe-Jing/datax-web
如需其他CDH版本datax-web下载，评论区留言，或者关注，给您私发链接
dataX阿里开源
链接：https://github.com/alibaba/DataX
MYSQL 5.7安装
链接：https://blog.csdn.net/weixin_51485976/article/details/110529351

DataX介绍以及优缺点分析
链接：https://zhuanlan.zhihu.com/p/81817787
DATAX踩坑路
链接：https://www.icode9.com/content-4-1085267.html
链接：https://blog.csdn.net/weixin_39939661/article/details/110659224?spm=1001.2101.3001.6650.9&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-9.essearch_pc_relevant&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-9.essearch_pc_relevant
DataX在有赞大数据平台的实践
链接：https://blog.csdn.net/weixin_33778544/article/details/91379471

其他流行开源ETL工具
链接：https://github.com/DTStack/flinkx
链接：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/sqlclient/
链接：https://ververica.github.io/flink-cdc-connectors/master/
链接：http://streamxhub.com/zh/
————————————————
版权声明：本文为CSDN博主「海边捡贝壳的老头」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_51485976/article/details/122062993

该处使用的url网络请求的数据。

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

海边捡贝壳的老头
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Centos 安装Datax及Datax-web
埋雷兽的博客
01-05 2145
centos安装datax；datax和datax-web安装配置；datax集群部署
CDH 6.3.2安装部署（超详细）
最新发布
2201_75470972的博客
05-23 2232
超级详细的cdh6.3.2安装部署教程
基于CDH6.2.0 搭建大数据集群
DaiSnow的博客
12-09 1998
Cloudera Manager集群搭建 hostname按表格进行修改，/etc/hosts文件添加节点 Ip+hostname hostname ip role cdh-nn01 172.16.0.188 HadoopMaster，CM Server，Mysql，Hue，HS2 cdh-nn02 172.16.0.189 Hadoop Master，CMAgent，HS2 cdh-nn03 172.16.0.190 Hadoop Master，CMAgent，HS2,Impala
数据同步工具—DataX—Web部署使用
张伟的专栏
02-06 5620
这一节主要部署了DataX—Web ，DataX—Web 主要解决了DataX的任务管理、运维的问题，而且有自己的调度，但是在整个数仓中却难以使用，因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web，那这个时候只有任务构建这个模块是我们需要的，其他的监控、数据源管理调度系统已经有了，所以这个东西应用场景有限，只能作为一个参考。
Datax 插件二次开发之parquet日志问题处理
qq_34599449的博客
01-28 2355
Datax 插件二次开发之parquet日志问题处理 Date: December 31, 2021 参考文档： https://blog.csdn.net/wuleidaren/article/details/106395549 https://cloud.tencent.com/developer/ask/123020 1.问题背景 1.1 发现问题 前面对Datax进行了插件开发，能够正常使用，但是发现一个问题，每次执行时，在datax 的日志中会出现很多parquet的无效日志，类似下边： 这样，
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
Impala-cdh集群安装部署
09-18
本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的（cdh版本的tar包安装与Apache的tar包安装方式相同）。cdh版本的tar包下载地址：http://archive-primary.cloudera.com/cdh5/cdh/5/
CDH6.3.2集群部署手册
03-26
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop（CDH）版本6.3.2的文档。CDH是一个开源的大数据管理平台，旨在简化大数据的管理和操作，并提供各种工具和组件来处理和分析大...
大数据CDH集群部署文档v1.1.docx
08-13
大数据CDH集群部署文档是指利用Cloudera Distributed Hadoop（CDH）搭建大数据集群的指导手册，旨在帮助用户快速搭建大数据环境，学习大数据利器。以下是该文档的知识点总结： 大数据CDH集群概述 CDH是Cloudera...
CDH集群部署.doc
03-21
CDH集群部署方案 本文档描述了在虚拟机上的CDH集群部署方案，该方案用于测试环境，同时也可以作为实际环境部署的指导。...本文档描述了在虚拟机上的CDH集群部署方案，旨在为测试环境和实际环境部署提供指导。
DATAX安装与开发
07-31
在Linux系统 下DATAX安装所需环境以及安装步骤，讲解详细，有开发实例！
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
DataxWeb安装部署及使用--真香警告
qq_34905631的博客
11-02 2931
DataXDataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
datax从TDH同步数据到CDH的json模板（待kerberos认证及HA高可用）
记录日常开发过程中遇到的一些问题
08-28 953
1、模板json： { "job" : { "setting" : { "speed" : { "byte" : 104857600 }, "errorLimit" : { "record" : 0 } }, "content" : [ { "reader" : { "name" : "hdfsreader", "parameter" : { .
datax导数＞从一个集群到另外一个集群（hdfs）出现数据缺失
while_int的博客
09-29 510
通过datax导数据，任务执行成功了，但是一个很大的问题，（数据丢失）
datax-web构建自己的中台
viviliving的专栏
01-05 1605
1、下载datax 2、下载datax-web-master 3、idea打开datax-web-master，maven自动下载包（三小时，好漫长） 4、传经mysql的库datax，创建用户datax 密码datax，导入db下的sql F:\datax\datax-web-master\bin\db\datax_web.sql 5、修改配置文件，修改src下的 F:\datax\datax-web-master\datax-admin\src\main\resources\applica.
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3393
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
大数据同步数据利器-DataX
weixin_43951825的博客
09-09 942
DataX的使用 在接触datax之前，一直用的是Apache Sqoop这个工具，它是用来在Apache Hadoop 和诸如关系型数据库等结构化数据传输大量数据的工具。但是在实际工作中，不同的公司可能会用到不同的nosql数据库和关系型数据库，不一定是基于hadoop的hive，hbase等这些，所以sqoop也有一定的局限性。在工作处理业务中，公司大佬给我推介了阿里巴巴的datax，用完的感...
cdh5.6集群部署手册
08-01
CDH 5.6集群部署手册是针对Cloudera Distribution for Hadoop (CDH) 5.6版本的集群部署指南。以下是一个简要的回答，介绍一些基本的内容以供参考。 首先，安装操作系统。手册中会列出所需的操作系统版本和安装要求。快速安装指南提供了安装过程的简单步骤，包括网络设置和安全性设置。 接下来，准备集群环境。手册将介绍如何配置节点，如何设置主机名和IP地址，以及如何设置主机名解析。 然后，安装CDH软件包。手册中会详细说明如何下载和安装CDH软件包，包括安装管理和安装代理。 然后是配置服务。手册中将指导您在集群上配置不同的Hadoop服务，如HDFS、YARN、Spark、HBase等。您将了解如何配置各个服务的参数，并将这些服务配置为适当的角色和实例。 接下来是安全配置。手册会指导您如何为集群设置适当的安全性，如Kerberos认证、SSL加密，以及适当的防火墙设置等。 之后是验证集群。手册会介绍如何验证您的集群配置是否正确。您将了解如何运行一系列的命令和测试以确保集群正常运行。 最后，手册还包括一些其他的相关主题，如日志管理、备份和恢复策略等。 CDH 5.6集群部署手册提供了详细的指南，使您能够快速而准确地部署CDH 5.6版本的集群。希望这个简要的回答对您有所帮助。详细的手册内容和具体步骤，请参考CDH 5.6集群部署手册。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值