数据从PostgreSQL导入到PostgreSQL的DataX模板

这里是chatgpt给出的模板

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "postgresqlreader",
          "parameter": {
            "connection": [
              {
                "jdbcUrl": "jdbc:postgresql://<源数据库地址>:<端口>/<数据库名>",
                "querySql": "SELECT * FROM <源表名>"
              }
            ],
            "username": "<源数据库用户名>",
            "password": "<源数据库密码>"
          }
        },
        "writer": {
          "name": "postgresqlwriter",
          "parameter": {
            "connection": [
              {
                "jdbcUrl": "jdbc:postgresql://<目标数据库地址>:<端口>/<数据库名>",
                "table": "<目标表名>"
              }
            ],
            "username": "<目标数据库用户名>",
            "password": "<目标数据库密码>"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "<通道数>",
        "byte": "<每个通道的字节数>"
      }
    }
  }
}

请将 <源数据库地址>, <端口>, <数据库名>, <源表名>, <源数据库用户名>, <源数据库密码>, <目标数据库地址>, <目标数据库用户名>, <目标数据库密码>, <目标表名>, <通道数> 和 <每个通道的字节数> 替换为你实际的数据库连接和配置信息。

这个模板使用了DataX中的PostgreSQL Reader和PostgreSQL Writer插件，通过JDBC连接读取源数据库中的数据，并将数据写入到目标数据库的指定表中。

ps：在使用DataX之前，你需要确保已经安装并配置了DataX，并且正确添加了PostgreSQL Reader和PostgreSQL Writer插件。

同样，我们可以在datax的bin目录输入以下命令

python datax.py -r postgresqlreader -w postgresqlwriter

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader", 
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [], 
                                "table": []
                            }
                        ], 
                        "password": "", 
                        "username": ""
                    }
                }, 
                "writer": {
                    "name": "postgresqlwriter", 
                    "parameter": {
                        "column": [], 
                        "connection": [
                            {
                                "jdbcUrl": "", 
                                "table": []
                            }
                        ], 
                        "password": "", 
                        "postSql": [], 
                        "preSql": [], 
                        "username": ""
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

同样也可以生成其他模板，比如MySQL导到MySQL的

python datax.py -r mysqlreader -w mysqlwriter

某某数据库导到某某数据库的命令

python datax.py -r XXXsqlreader -w XXXsqlwriter

github 中 datax页面也有相应的读和写模板

读部分模板

{
    "job": {
        "setting": {
            "speed": {
            //设置传输速度，单位为byte/s，DataX运行会尽可能达到该速度但是不超过它.
                 "byte": 1048576
            },
            //出错限制
                "errorLimit": {
                //出错的record条数上限，当大于该值即报错。
                "record": 0,
                //出错的record百分比上限 1.0表示100%，0.02表示2%
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader",
                    "parameter": {
                        // 数据库连接用户名
                        "username": "xx",
                        // 数据库连接密码
                        "password": "xx",
                        "column": [
                            "id","name"
                        ],
                        //切分主键
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "table"
                                ],
                                "jdbcUrl": [
     "jdbc:postgresql://host:port/database"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    //writer类型
                    "name": "streamwriter",
                    //是否打印内容
                    "parameter": {
                        "print":true,
                    }
                }
            }
        ]
    }
}

写部分模板

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column" : [
                            {
                                "value": "DataX",
                                "type": "string"
                            },
                            {
                                "value": 19880808,
                                "type": "long"
                            },
                            {
                                "value": "1988-08-08 08:08:08",
                                "type": "date"
                            },
                            {
                                "value": true,
                                "type": "bool"
                            },
                            {
                                "value": "test",
                                "type": "bytes"
                            }
                        ],
                        "sliceRecordCount": 1000
                    }
                },
                "writer": {
                    "name": "postgresqlwriter",
                    "parameter": {
                        "username": "xx",
                        "password": "xx",
                        "column": [
                            "id",
                            "name"
                        ],
                        "preSql": [
                            "delete from test"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:postgresql://127.0.0.1:3002/datax",
                                "table": [
                                    "test"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}