python爬虫--多线程的学习--实战爬取糗事百科
1. 为什么要使用多线程
使用单线程的危害:
一旦一个地方卡到不动了,那不就永远等待下去了?
多线程的优点:
为此我们可以使用多线程来处理问题,并且在网络请求中多使用多线程
2. 如何使用
爬虫使用多线程来处理网络请求,使用线程来处理URL队列中的url,然后将url返回的结果保存在另一个队列中,其它线程在读取这个队列中的数据,然后写到文件中去
3. 多线程主要组成部分
3.1 URL队列和结果队列
将将要爬去的url放在一个队列中,这里使用标准库Queue。访问url后的结果保存在结果队列中
初始
原创
2021-01-26 16:27:47 ·
144 阅读 ·
0 评论