DataX性能优化点

最新推荐文章于 2024-08-10 11:42:01 发布

聆听金生

最新推荐文章于 2024-08-10 11:42:01 发布

阅读量5.6k

点赞数 1

分类专栏： DataX 文章标签： dataX 性能优化

本文链接：https://blog.csdn.net/weixin_41609807/article/details/102977455

版权

DataX 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

性能优化示例

DataX为了安全起见速率限制。

{
"core":{ #全局属性
        "transport":{
            "channel":{
                "speed":{
                    "record":-1, ## 对数据条数不做限制
                    "byte":-1, ## 对字节数不做现在
	    	    "batchSize":2048 ## 批提交
                }
            }
        }
    },
    "job": {
        "setting": {  #对单个job有效
            "speed": {
                 "channel": 6,  #并发量
		 		 "record":-1,   ## 对数据条数不做限制
                 "byte":-1      ## 对字节数不做现在
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "root",
			 "column": [
                            "id",
                            "a"
                        ],
			"splitPk": "id", # 注意点  配置这个可实现单表多task，以及注意大小写
             "connection": [
                            {
                                "table": [
                                  "test",
				 				  "test_1",
				  				  "test_2"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://localhost:3306/ws?useServerPrepStmts=true&cachePrepStmts=true"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "root",
                        "column": [
                            "id",
							"a"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/ws1?useUnicode=true&characterEncoding=utf8",
                                "table": [
                                    "test"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}