本文探讨了在大量数据导入数据库过程中遇到的线程阻塞问题。当数据量增大，使用多线程并发读取并写入时，第八个线程出现莫名阻塞。尝试了不同线程池配置，问题依然存在。解决方案是将操作移到同一服务下的方法内，阻塞问题消失。这一现象有待进一步分析和理解。
需求
把某个网站上或者别的数据库里导出的文件全部导入到自己的数据库里
数据文件和格式已经给出了，不需要关心从哪来，只需要读取到数据库里就行，不能出错，不能时间太长。
大致实现
个人思路是先对数据进行分片，按照一定规则（数据数量）进行切分，然后多个线程同时读取往数据库里写，同时彼此控制事务。
遇到的问题
数据量少100万以内时没有遇到问题，数据量大的时候分片量大线程数也大。
线程达到了8个，然后服务调取业务层时出现了：第八个线程总是会被无缘无故阻塞。
日志表明8个线程都已经进入调用状态了，但是其他7个线程都已经施行完毕了，第八个线才刚开始执行。
下面进行了对照实验，三种方式，第一个和第二个仍然会被阻塞，第三个却正常，不是线程池的问题，和service调用有关？这个还是第一次听说，自己系统调接口居然会被无缘无故阻塞。
解决
移植到同一个service下面，自己调自己方法，居然就不会被阻塞了，不理解这种情况。。。。。。太诡异了
扫一扫
114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
