很久之前在做一个爬虫程序的时候,看了看CPU和内存没有被完全利用,就想利用多线程来加快下载速度。但是发现多线程并没有加快整体的速度,当时很疑惑,没有得到答案。昨天无意间在MOOC的操作系统课程上找到了答案,特此记录。
先上结论:Java的多线程是ULT,也就是用户级的多线程,不能利用多个CPU核心。只有KLT,核心级多线程,才能利用多个CPU核心。
将过程分为A,B,C。
A:找到下载资源;
B:下载;
C:改名并保存。
一开始我的多线程:Thread 1:A1 B1 C1。Thread 2:A2 B2 C2。。。
一开始以为这样就可以由多个CPU核心来同时执行以上操作,把网络、硬盘、CPU更好的利用起来。但是不对。
应该要这样:Thread 1:A1 A2 A3。Thread 2: B1 B2 B3。 Thread 3: C1 C2 C3 。这样就可以通过分时复用,更好的利用当前CPU核心的资源。
具体的可以参考这篇博客:reference