原创 进行大规模数据迁移时,使用多线程,利用改进二分法,近似均等切分任务
楼主在进行数据迁移时遇到一个问题,即进行数据迁移时,需要用到多线程,提高写入速度,每个线程可以使用id来进行分割。例如假如有100条数据,id范围为0-99。分割为5个线程,可以这样:线程1: id:0-20线程2: id:20-40线程3: id:40-60线程4: id:60-80线程5: id:80-99但是实际情况往往是id分布并不均匀,假如有id范围为:0
2017-03-15 15:06:59 1538
楼主在进行数据迁移时遇到一个问题,即进行数据迁移时,需要用到多线程,提高写入速度,每个线程可以使用id来进行分割。例如假如有100条数据,id范围为0-99。分割为5个线程,可以这样:线程1: id:0-20线程2: id:20-40线程3: id:40-60线程4: id:60-80线程5: id:80-99但是实际情况往往是id分布并不均匀,假如有id范围为:0
2017-03-15 15:06:59 1538