Python 实现多线程爬虫
实现多线程爬虫
为什么要爬虫使用多线程?
为了提高抓取数据效率
有些网站对访问速度有限制, 这样网站可以可以开启多个线程, 每一个线程使用一个代理,去提取页面的一部分内容
1.多线程的方法使用
在python3中，主线程主进程结束，子线程，子进程不会结束 为了能够让主线程回收子线程，可以把子线程设置为守护线程,即该线程不重要，主线程结束，子线程结束
t1 = threading.Thread...
原创
2019-06-19 15:48:44 ·
8929 阅读 ·
0 评论
关注
分享
扫一扫