服务运维-09-技术-1.datax结合crontab配置实现定时数据同步

最新推荐文章于 2024-10-06 20:35:58 发布

追梦者晓东

最新推荐文章于 2024-10-06 20:35:58 发布

阅读量780

点赞数

分类专栏：定时任务文章标签：运维数据库 database

本文链接：https://blog.csdn.net/qq_38348952/article/details/112611144

版权

本文介绍了如何通过DataX配合crontab在服务器A上实现对数据库位于服务器B和C之间的定时数据同步。详细步骤包括编写DataX同步文件，部署DataX项目，测试数据同步，以及配置crontab定时任务。在实施过程中，重点强调了网络连通性、数据库访问和日志监控的重要性。

摘要由CSDN通过智能技术生成

大体过程概览:

1.编写datax数据同步json文件及脚本；::
2.将datax放到服务器a 上，a服务器需要和json文件中的数据源服务器b 和数据导入目标服务器c 都连通；
3.执行.sh脚本中的命令挨个测试json同步文件有无错误。；
4.全部测试完后再结合crond服务，进行定时任务的配置实现定时数据同步。

具体步骤:

1.datax同步文件及脚本写法样例：

1.1目录结构如图：

在这里插入图片描述

1.2 json同步文件写法示例-文件名：abc_bq.json：

//内容分为两部分，数据源读取部分以及目标数据源插入部分
{
   
    "job": {
   
        "content": [
            {
   
        //从源数据库查询单表全部数据--数据库为数据源服务器b 上的数据库配置信息
                "reader": {
   
                    "name": "mysqlreader", 
                    "parameter": {
   
                        "column": [ "" ],
                        "connection": [
                            {
   "querySql":<