DataX-Web 源码调试及打包

最新推荐文章于 2024-02-28 15:26:24 发布

程序员大佬超

最新推荐文章于 2024-02-28 15:26:24 发布

阅读量3.9k

点赞数 4

分类专栏： DataX 文章标签： DataX DataX-Web 源码打包

本文链接：https://blog.csdn.net/xch_yang/article/details/128241023

版权

DataX 专栏收录该内容

5 篇文章 2 订阅

订阅专栏

文章目录

前文回顾：
《DataX 及 DataX-Web 安装使用详解》
《DataX 源码调试及打包》

源码地址：https://github.com/WeiYe-Jing/datax-web

1、还原 dataxweb 数据库

sql 脚本在目录 /bin/db/datax-web.sql

在这里插入图片描述

2、修改配置文件

打开项目后，如下

在这里插入图片描述

我们需要修改控制器datax-admin和执行器datax-executor的配置文件。

datax-admin

修改控制器配置文件application.yml

# 控制器端口号
server:
  port: 8099
spring:
  #数据源，目前只支持mysql
  datasource:
    username: root
    password: 666888
    url: jdbc:mysql://localhost:3306/dataxweb?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    driver-class-name: com.mysql.jdbc.Driver

    # 数据库连接池配置
    hikari:
      ## 最小空闲连接数量
      minimum-idle: 5
      ## 空闲连接存活最大时间，默认600000（10分钟）
      idle-timeout: 180000
      ## 连接池最大连接数，默认是10
      maximum-pool-size: 10
      ## 数据库连接超时时间,默认30秒，即30000
      connection-timeout: 30000
      connection-test-query: SELECT 1
      ##此属性控制池中连接的最长生命周期，值0表示无限生命周期，默认1800000即30分钟
      max-lifetime: 1800000

  # datax-web email，不需要可以不配置
  mail:
    host: smtp.qq.com
    port: 25
    username:
    password:
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
        socketFactory:
          class: javax.net.ssl.SSLSocketFactory


management:
  health:
    mail:
      enabled: false
  server:
    servlet:
      context-path: /actuator

mybatis-plus:
  # mapper.xml文件扫描
  mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
  # 实体扫描，多个package用逗号或者分号分隔
  #typeAliasesPackage: com.yibo.essyncclient.*.entity
  global-config:
    # 数据库相关配置
    db-config:
      # 主键类型  AUTO:"数据库ID自增", INPUT:"用户输入ID", ID_WORKER:"全局唯一ID (数字类型唯一ID)", UUID:"全局唯一ID UUID";
      id-type: AUTO
      # 字段策略 IGNORED:"忽略判断",NOT_NULL:"非 NULL 判断"),NOT_EMPTY:"非空判断"
      field-strategy: NOT_NULL
      # 驼峰下划线转换
      column-underline: true
      # 逻辑删除
      logic-delete-value: 0
      logic-not-delete-value: 1
      # 数据库类型
      db-type: mysql
    banner: false
  # mybatis原生配置
  configuration:
    map-underscore-to-camel-case: true
    cache-enabled: false
    call-setters-on-nulls: true
    jdbc-type-for-null: 'null'
    type-handlers-package: com.wugui.datax.admin.core.handler

# 配置mybatis-plus打印sql日志
logging:
  level:
    com.wugui.datax.admin.mapper: error
    path: ./data/applogs/admin


#datax-job, access token
datax:
  job:
    accessToken:
    #i18n (default empty as chinese, "en" as english)
    i18n:
    ## triggerpool max size
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
      ### log retention days
    logretentiondays: 30

datasource:
  aes:
    key: AD42F6697B035B75

我这修改了数据源、端口以及sql日志的配置。

datax-executor

修改执行器配置文件application.yml

# web port
server:
  port: 8082

# log config
logging:
  config: classpath:logback.xml
  # 日志路径
  path: ./data/applogs/executor/jobhandler

datax:
  job:
    admin:
      ### datax admin address list, such as "http://address" or "http://address01,http://address02"
      # 控制器的地址及端口
      addresses: http://127.0.0.1:8099
    executor:
      appname: datax-executor
      ip:
      port: 9999 # 执行器端口号
      ### job文件的执行日志路径
      logpath: ./data/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:

  executor:
    # datax json文件存放位置
    jsonpath: F:/IdeaProjectsWC/DataX/target/datax/datax/script

  # Datax执行文件datax.py的地址
  pypath: F:/IdeaProjectsWC/DataX/target/datax/datax/bin/datax.py