需求
有个统计请求的小程序,需要发送20W个API请求
分析
请求量比较大,如果使用单线程的话只能10小时出结果,这太慢对调试极其不方便。平均每条的API请求响应是100MS,考虑使用50个多线程并发网络请求,等待20W个请求都结束后,主线程再进行处理。
时间提升20倍优化到了0.5小时,勉强可以满足需求,现在的瓶颈在对方的API。
这里的多线程用到了线程池(JAVA5后可用),主线程等待用到了Future.get()
的阻塞功能,但是不是可以考虑使用线程的同步。
主要参考了:
有个统计请求的小程序,需要发送20W个API请求
请求量比较大,如果使用单线程的话只能10小时出结果,这太慢对调试极其不方便。平均每条的API请求响应是100MS,考虑使用50个多线程并发网络请求,等待20W个请求都结束后,主线程再进行处理。
时间提升20倍优化到了0.5小时,勉强可以满足需求,现在的瓶颈在对方的API。
这里的多线程用到了线程池(JAVA5后可用),主线程等待用到了Future.get()
的阻塞功能,但是不是可以考虑使用线程的同步。
主要参考了: