【Datax-Web】配置datax-web接口免鉴权及扩展支持其他数据库

于 2024-07-10 09:59:12 发布
阅读量395 收藏 4
点赞数 3
文章标签： 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/N0nsense/article/details/140314736
版权

如何在datax-web上配置免鉴权的接口以及扩展其他类型数据库

DataX-Web 是什么

    datax-web 是一个在 DataX 之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用 DataX 的学习成本，缩短任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源，即可创建数据同步任务。支持 RDBMS、Hive、HBase、ClickHouse、MongoDB 等数据源。RDBMS 数据源可以批量创建数据同步任务，支持实时查看数据同步进度及日志，并提供终止同步功能，集成并二次开发 xxl-job，可根据时间、自增主键增量同步数据。
    任务“执行器”支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU、内存、负载的监控等等。

配置位置com.wugui.datax.admin.config.SecurityConfig

SecurityConfig类中有个重写的方法configure()
在这里插入图片描述
在此处，根据需要配置你需要免鉴权的接口，目前网上提供的通过配置文件来配置的，我试过没用的！！

Datax-web新增自定义数据库(Doris,Kingbase8,达梦)

需要基于datax-web-ui和datax-web这两个项目二次开发，目前本人已经开发完成，流程已打通，但是还有一些可优化的地方，因为是定制开发，所以不够通用，后期优化后上传github再贴链接，如果需要这部分代码，可以留言，我看到了会给您回复，谢谢

N0nsense
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
javase源码-datax-web:dataxweb。datax中的web配置界面没有集成在一起开源出来，此为web端配置项目
06-04
java se源码 主要功能 提供一个 web 系统，方便开发人员快速创建作业 示例 打包 使用 spring boot 开发，直接使用 gradle 打成 war 包即可 打包成功后的相对路径为 build/libs/datax-web-0.0.1.war 部署环境 系统： CentOS Linux release 7.6.1810 (Core) java： java version "1.8.0_201" Java(TM) SE Runtime Environment (build 1.8.0_201-b09) Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode) tomcat： apache-tomcat-9.0.16 环境变量 需要配置下面三个环境变量： datax安装目录： export DATAX_HOME=... datax源码目录： export DATAX_SRC_HOME=... datax作业文件保存目录： export DATAX_JSON_HOME=...
Datax-web 添加达梦数据库
zhSpace的博客
06-20 1359
Datax-web 2.1.3 添加达梦数据库支持
大数据同步工具之DataX
积跬步，至千里。
05-15 1658
DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
datax-web
bswsf的专栏
06-16 1451
（此处datax-admin设定的端口需要与datax-executor中配置的admin.addresses端口完全一致，否则会导致执行器无法正确注册，datax-executor的端口可以自行配置，但是不能与datax-executor配置的executor.port重复，否则会发生端口被占用的情况，此处还不是明白为啥一个程序要两个端口）总结：datax-web 相当如给datax提供了界面话的一些功能和监控。可以结合使用，反正datax-web是依赖datax的。
Datax-web版安装(含安装包)
qq_36050986的博客
03-01 2185
文章目录 Datax-web安装环境准备安装Datax安装Data-web启动datax-web软件资源 Datax-web安装 环境准备 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数...
datax-web-2.1.2.zip
08-14
8. **API 接口**：对于有开发能力的用户，DataX Web 还提供了 API 接口，可以与其他系统集成，实现更复杂的工作流。 在 DataX Web 2.1.2 中，用户可以按照以下步骤创建数据同步任务： 1. 登录 DataX Web 系统，...
数据同步工具datax-web可视化工具
05-09
数据同步工具DataX-Web是一款基于DataX的可视化数据迁移工具，它提供了用户友好的界面，使得数据库之间的数据同步变得更加简单和直观。DataX是阿里巴巴开源的一款强大的数据同步框架，支持多种数据库之间的数据迁移...
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
DataXWeb分布式数据同步工具
08-14
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创
datax-web-ui:DataX Web UI
03-20
Datax Web UI 说明 该项目由修改而来 构建设置 运行 npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org] 修改配置 找到vue.config.js修改proxy里的属性即可 [process.env.VUE_APP_API]: { target: `http://localhost:${apiPort}/api`, changeOrigin: true, pathRewrite: { ['^' + process.env.VUE_APP_API]: '' } 启动 npm run dev 打包 npm run build:prod
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
DataX-web提供了图形化的操作界面，使得用户可以更加直观和便捷地配置和管理DataX任务。通过Web界面，用户可以创建、修改和监控任务，大大降低了使用门槛，提升了工作效率。 而"datax.tar.gz"则是DataX的执行引擎的...
分布式数据同步工具之DataX-Web部署使用
Focus on Lakehouse
07-24 6391
背景介绍，因为需求是外部数据和内部生产数据之间需要通步，因此dataworks的数据同步模块的源端和目标是不支持多网络环境，要么公网，要么内网，因此这种需求我们的dataworks是不能使用的，我们调研了两个工具，一个是dataxweb ,一个是dolphinscheduler ，今天的篇幅主要讲解一下搭建的dataxweb的流程。 一、环境准备 1)...
datax-web使用介绍
hzp666的博客
10-24 2742
CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；LEAST_RECENTLY_USED（最近最久未使用）：最久为使用的机器优先被选举；FIRST（第一个）：固定选择第一个机器；ROUND（轮询）：；
数据同步工具—DataX—Web部署使用
张伟的专栏
02-06 5744
这一节主要部署了DataX—Web ，DataX—Web 主要解决了DataX的任务管理、运维的问题，而且有自己的调度，但是在整个数仓中却难以使用，因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web，那这个时候只有任务构建这个模块是我们需要的，其他的监控、数据源管理调度系统已经有了，所以这个东西应用场景有限，只能作为一个参考。
DataX-Web部署和使用
qq_60275529的博客
05-18 1799
目录一、准备（一）一台centos 7主机、连网（二）关闭防火墙二、jdk安装配置（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压（二）配置环境变量，在profile最后面添加（三）让配置生效（四）查看java版本，执行下面命令出现jdk版本即安装成功三、mysql5.7安装配置（一）查找已经安装的mysql安装包（二）CentOS7下还需要查找是否存在mariadb包：（三）上述两步骤如果查出了mysql则需要将对应的文件删除（四）MySQL 安装会通过 MySQL 用户在 /t
【DataX】datax | datax-web | win搭建datax-web环境 | linux环境
hgSuper的博客
02-01 4376
win部署datax-web
datax和datax-web怎么连接
最新发布
06-29
DataX是一个开源的数据同步工具，主要用于在不同数据源之间高效地传输大量数据。DataX-web是DataX的Web版控制台，它提供了一个用户友好的界面来管理和监控DataX任务的执行。 要连接DataX和DataX-web，你需要按照以下步骤操作： 1. **安装DataX**：首先，确保你已经在本地或服务器上安装了DataX。你可以从DataX的GitHub仓库下载并按照官方文档进行安装。 2. **配置DataX任务**：使用命令行工具创建DataX的任务配置文件（如：job.yaml），指定源和目标数据库、表名、字段等信息。在配置中，可能需要设置一些连接参数，如用户名、密码、URL等。 3. **运行DataX任务**：使用DataX的命令行工具（如`java -jar datax-*.jar job job.yaml`）启动任务，DataX会根据配置文件执行数据同步操作。 4. **启动DataX-web**：在DataX-web的安装目录下运行web服务器，例如`cd datax-web && ./bin/start.sh`（假设你在Linux环境下）。这将启动一个本地HTTP服务器，提供DataX-web的界面。 5. **访问DataX-web**：在浏览器中输入`http://localhost:8080`（默认端口），你将看到DataX-web的登录页面。如果你之前没有设置过用户，通常可以使用默认的管理员账户（用户名：admin，密码：admin）登录。 6. **添加、编辑和查看任务**：登录后，可以在DataX-web的界面中添加新的任务配置，编辑现有的任务，以及查看任务执行状态和日志。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值