datax-web创建定时任务步骤

1、datax-admin.jar和 datax-executor.jar 启动成功,在浏览器中输入 http://IP地址:datax-admin端口号/index.html进入web页面,页面内容如下

在这里插入图片描述

2、登录系统
username: admin
password: 123456

2.1、创建用户
登录成功,选择左侧菜单栏,创建当前医院的唯一账号(用户名一般采用 医院名称首字母+admin ) 密码一般设置为123456。角色选择 ROLE_USER。

在这里插入图片描述

3、创建项目
用户创建成功后,使用新创建的用户重新登录。登录成功,选择左侧菜单栏的项目管理,点击添加-创建项目 项目名称和项目描述可以任意,只要能够区分

在这里插入图片描述

4、新增执行器 
 选择左侧菜单栏的执行器管理,点击添加.
 appName 要跟datax-executor.jar 包里的application.yml中的datax.executor.appName对应,且此appName要唯一。 名称一般就是医院简称+执行器。注册方式选择手动录入。机器地址 是前置服务器的ip地址,后面的端口号默认填9999

在这里插入图片描述

5、创建数据源
5.1、选择左侧菜单栏的数据源管理,点击添加
5.2、数据源要与his的数据库类型一致。
5.3、用户名和密码是his提供的数据库的用户名和密码
5.4、jdbcUrl 根据不同的数据库类型填不同的格式
	mysql url:jdbc:mysql://{host}:{port}/{database}
	oracle url:jdbc:oracle:thin:@//{host}:{port}/{database}
	sqlserver url:jdbc:sqlserver://{host}:{port};DatabaseName={database} 
我们每次新增数据源的时候,只需替换 “{}” 这一部分内容即可。 
	host 是数据库的ip地址
  port 是数据库的端口号。mysql是3306,oracle是1521,sqlserver是1433
  database 是数据库的名称
  
5.5、都填写好后,点击测试连接,如果右上角提示连接成功。则说明前置机可以访问数据库。如果提示有误,根据提示修改

在这里插入图片描述

6.创建任务模版

6.1、选择左侧菜单栏的任务管理、选择datax任务模版,点击添加。
6.2、执行器选择第四步创建的执行器
6.3、任务描述随便写
6.4、cron 点击右侧的那个小图标,然后确认即可
6.5、阻塞处理 选择丢弃后续调度 
6.6、所属项目 选择 步骤3 创建的任务。
确认无误后,点击确认。

在这里插入图片描述

7、创建定时任务
选择左侧菜单栏的任务管理,选择二级菜单的任务构建

7.1、步骤一 构建reader (reader 表示被获取数据的一方。)
  7.1.1、数据库源选择被获取数据一方的数据源名称
  7.1.2、如果有Schema ,选择his提供的视图所属的用户名
  7.1.3、数据库表名 选择待同步的表名或视图名
  7.1.4、表所有字段,默认会把视图所有的字段列出来,如果某个字段无需同步,只需把前面的 “对号” 去掉即可
  7.1.5、检查没问题后,点击下一步

在这里插入图片描述

7.2、步骤二,构建writer (writer 表示数据要写入的一方)
 操作步骤和7.1的一样。
 

在这里插入图片描述

7.3、步骤三,字段映射。这里是核对reader和writer 双方的字段名、字段的顺序,字段的个数是否能对上,如果对不上,需要调整。这里也可以把无需同步的字段取消掉。确认无误后,点击下一步

在这里插入图片描述

7.4、步骤4,构建。
 7.4.1、先点击构建,然后选择模版。模版选择步骤6创建的模版
 7.4.2、检查reader.column 和writer.column 字段的顺序和字段的个数、字段名称是否一致,不一致要调整
 7.4.3、点击下一步,任务创建完成

在这里插入图片描述

7.5、任务调整为增量同步
 	7.5.1、点击左侧菜单栏下的任务管理-任务管理。找到刚刚创建的任务。点击右侧的操作,选择编辑
 	7.5.2、检查执行器是否是刚刚创建的执行器;
 				 任务名称可以自己写,最好是能根据名称知道此任务是干什么用的;
 				 检查所属项目是否是刚刚创建的项目名
 	7.5.3、任务一般都是增量同步的。所以下方的辅助参数一般选择 “时间自增”
  			 增量开始时间 选择你想从什么时候开始同步的时间。 
  			 增量时间格式与跟下面图片一致
  			 增量时间字段:-DlastTime='%s' -DcurrentTime='%s'
  7.5.4、在reader属性下增加一个属性字段:where
  			 格式一般为:"where": "UPDATETIME BETWEEN ${lastTime} and ${currentTime}",
  			 如果不是,根据不同的数据库类型进行调整
  确认无误后,点击确认。

在这里插入图片描述

在这里插入图片描述

7.6 测试任务能否成功执行
选中左侧菜单栏的的 任务管理-任务管理。选中刚刚修改好的任务,点击右侧的操作,点击执行一次,然后点击查看日志。
执行成功的日志,最后几行如下

在这里插入图片描述

执行失败的任务,会在日志中给出说明,按照说明调整,调整好后,重新执行。直到执行成功为止

在这里插入图片描述

7.7 设置定时任务同步的cron表达式
进入定时任务的编辑页面。点击Cron右侧的图标,生成定时任务执行的cron表达式。点击确定。点击最下面的确定。然后把任务列表此任务的状态由停止改为启动。任务就创建完毕。

在这里插入图片描述

在这里插入图片描述

  • 14
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在DataX-Web创建任务模板,首先需要安装DataX-Web并启动服务。安装DataX-Web的详细步骤可以参考中提供的链接。安装完成后,可以通过访问指定的地址[ip:9527/index.html,使用预设的账号(admin)和密码(123456)登录DataX-Web。登录成功后,可以按照以下步骤创建任务模板: 1. 在DataX-Web的界面中,找到菜单中的“数据源”选项,点击进入。 2. 在数据源页面中,选择创建新的数据源,填写相关信息,例如数据库的连接信息、用户名、密码等。 3. 创建完数据源后,回到DataX-Web的主界面,找到菜单中的“项目”选项,点击进入。 4. 在项目页面中,选择创建新的项目,填写项目的名称和描述等信息。 5. 创建完项目后,在项目详情页中,找到“任务模板”选项,点击进入。 6. 在任务模板页面中,选择创建新的任务模板,填写模板的名称、描述以及相关的配置信息。 7. 配置信息包括读取器和写入器的设置,可以根据具体需求选择相应的插件和参数。 8. 创建完任务模板后,可以在任务模板列表中查看和管理已创建的模板。 通过以上步骤,您就可以在DataX-Web中成功创建任务模板了。请确保您已按照正确的步骤安装和配置DataX-Web,并在登录后按照上述步骤进行操作。希望对您有帮助! 引用内容: DataX-Web下载和安装: 链接地址:ip:9527/index.html,账号:admin,密码:123456 DataX任务模板创建和使用的详细步骤<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [使用DataX同步数据库数据,并使用DataX-Web创建同步任务](https://blog.csdn.net/txyllyyj/article/details/129144623)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值