【README】
1. 编写spark作业抽取mysql数据到tidb, mysql数据库报oom,原因是 一次性抽取了15w笔数据,插入15w笔数据到tidb,被认定为大事务,超过了事务缓存大小100m的限制; 所以需要对mysql数据进行分区,降低单个分区的数据量;
1. 编写spark作业抽取mysql数据到tidb, mysql数据库报oom,原因是 一次性抽取了15w笔数据,插入15w笔数据到tidb,被认定为大事务,超过了事务缓存大小100m的限制; 所以需要对mysql数据进行分区,降低单个分区的数据量;