DATAX：MongoDB增量数据写入到mysql中

michelle_ycx

已于 2023-01-31 15:48:50 修改

阅读量1.3k

点赞数

文章标签： mongodb 数据库 nosql

于 2023-01-30 17:43:11 首次发布

本文链接：https://blog.csdn.net/michelle_ycx/article/details/128799841

版权

本文介绍了在项目中使用DATAX从MongoDB抽取数据并写入MySQL的过程，特别是如何处理增量数据。全量数据可通过JSON模板配置，而增量数据的获取则需要设定时间范围。在遇到MongoDB reader无querySQL的情况，通过查询参数"dateNum"和"dateType"结合"query"设定"CRT_TM"字段的日期时间范围来实现。

摘要由CSDN通过智能技术生成

项目场景：

简述：

使用DATAX进行Mongo的数据抽取，然后写入到mysql中，其中会牵涉到全量数据的写入和增量数据的写入。
全量数据的写入我们只需要正常写JSON模板即可，使用column将要获取的字段。但是考虑到有增量数据获取的时候，需要增加限定条件。

{
   

  "job": {
   

    "content": [

      {
   

        "reader": {
   

          "name": "mongodbreader",

          "parameter": {
   

            "address":["IP:端口号"],
			"toUri":true,"ssl":false,
			"trustStore":"",
			"trustStorePassword":"",
			"userName":"xxx",
			"userPassword":"",
			"dbName":"xxxx",
			"collectionName": "xxxx",
      "column":[
   {
   
    "name":"CRT_TM",
    "type":"string"
   }
      ]
          }
        },
                
		"writer": {
   
			
			"name": "mysqlwriter",             
			"parameter": {
   
            "column": [ 
"CRT_TM"
			],
                        
			"connection": [{
   
                             "jdbcUrl":