datax 从oracle迁移到es中

任务启动时刻                    : 2023-04-20 19:34:56
任务结束时刻                    : 2023-04-20 19:56:22
任务总计耗时                    :               1285s
任务平均流量                    :            5.07MB/s
记录写入速度                    :          24522rec/s
读出记录总数                    :            30457190
读写失败总数                    :                   0

经过对比测试,读写速度和batchSize有关,我的表字段少,batchSize批处理提交设置成十万,比一万要快五倍,

"batchSize": 100000,

channel 这个配置多线程,输出日志还是job0,查看线程也没有变化,速度也没有什么变化

"channel": 8 

设置内存,jvm默认是1G,设置4G之后,查看内存使用多了,但是速度也没有变化

python E:\ruanjian\JAVA\datax\datax\bin\datax.py --jvm="-Xms4G -Xmx4G" 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值