数据交换v4 任务运行失败
1. TIDB 数据交换任务长期运行占用大量资源(140G),加上流任务,基本占满了数据交换集群资源。
2. 修改了 spark jdbc 读取数据的代码,修改为流式读取,所以TIDB交换任务没有像以前一样OOM退出。
3. v4 任务大量增加,加大了交换集群负载。
tidb写数据溢出
最新推荐文章于 2022-05-30 15:27:26 发布
数据交换v4 任务运行失败
1. TIDB 数据交换任务长期运行占用大量资源(140G),加上流任务,基本占满了数据交换集群资源。
2. 修改了 spark jdbc 读取数据的代码,修改为流式读取,所以TIDB交换任务没有像以前一样OOM退出。
3. v4 任务大量增加,加大了交换集群负载。