Python 利用多线程进行爬虫（一）

最新推荐文章于 2024-08-05 15:49:48 发布
最新推荐文章于 2024-08-05 15:49:48 发布
阅读量504 收藏
点赞数
分类专栏： Python 文章标签： python 多线程 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiandd12/article/details/78939001
版权

这几天帮同学爬取拉勾网的招聘信息，真好学习一下多线程爬虫，之前做过几次爬虫都是单线程的。看到网上说python由于GIL的存在，多线程的效果不好。但是当处理IO比较密集的任务时，网络请求时间较长时，多线程可以充分利用cpu资源。

参考链接：

https://www.ibm.com/developerworks/cn/aix/library/au-threadingpython/

https://www.cnblogs.com/mr-zys/p/5059451.html


1、先了解一下线程和进程的区别，这方面资料很多。

创建 一个url队列和out队列，url队列用来存放需要爬取的网站链接，out队列用来存放每个url爬取到的数据。

queue = Queue.Queue()
out_queue = Queue.Queue()

2、构造header,设置伪登录 

request_headers = {
    'host': "www.lagou.com",
    'connection': "keep-alive",
    'cache-control': "no-cache",
    'user-agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Mobile Safari/537.36",
    'accept': "application/json, text/javascript, */*; q=0.01",
    'accept-language': "zh-CN,zh;q=0.9",
    'cookie':"   "
    }

3、使用多线程从url队列中获得url进行解析，并把得到的结果放入到结果队列中out_queue 

def run(self):
        while True:          
            #grabs url from queue
            url = self.queue.get()       
            #grabs urls of hosts and prints first 1024 bytes of page      
            requset = urllib2.Request(url,headers=request_headers)
            try:         
                response=urllib2.urlopen(requset)
                allcon=response.read()
                soup = BeautifulSoup(allcon,"html.parser",from_encoding="gb18030")
            except urllib2.URLError, e:
                print e.reason 
            res = self.get_result(soup)           
            out_queue.put(res)       
            #signals to queue job is done
            self.queue.task_done()
其中，queue.get（）从队列中得到一个item，并将其进行删除，queue.task_done()监督该任务是否处理完毕

4、将结果从结果队列out_queue（）中取出并写入到文件中。

def run(self):
        while True:
            res = self.out_queue.get()
#             print res
            #parse the chunk
            f.write(res.encode('utf-8'))
   
            #signals to queue job is done
            self.out_queue.task_done()

5、填充队列，对队列执行join()操作 

for i in range(1,4):    
        t = ThreadUrl(queue,out_queue)
        t.setDaemon(True)
        t.start()
    type = 'Java'
    for i in range(1,31):
        url = 'https://www.lagou.com/zhaopin/'+str(type)+'/'+str(i)+'/?filterOption='+str(i)+'&city=北京'
        queue.put(url)

    for i in range(3):
        t = WriteThread(out_queue)
        t.setDaemon(True)
        t.start()
                
    queue.join()
    out_queue.join()

结果： 

高级java开发工程师	[北京]	1天前发布	20k-30k	经验5-10年 / 本科	拉勾网thttps://www.lagou.com/gongsi/147.html	企业服务,招聘 / D轮及以上
java开发工程师	[望京]	08:57发布	25k-35k	经验3-5年 / 本科	丽兹行thttps://www.lagou.com/gongsi/124195.html	企业服务,广告营销 / 不需要融资
Java开发	[望京]	1天前发布	25k-35k	经验3-5年 / 本科	美团点评thttps://www.lagou.com/gongsi/50702.html	移动互联网,O2O / D轮及以上
Java	[东直门]	1天前发布	15k-25k	经验3-5年 / 本科	集奥聚合（GEO）thttps://www.lagou.com/gongsi/13179.html	数据服务 / B轮
Java开发工程师	[西二旗]	2017-12-20	15k-25k	经验3-5年 / 本科	易点租thttps://www.lagou.com/gongsi/63582.html	电子商务 / B轮
Java工程师	[团结湖]	1天前发布	20k-35k	经验1-3年 / 本科	洋钱罐thttps://www.lagou.com/gongsi/110502.html	移动互联网,金融 / 不需要融资
Java	[中关村]	1天前发布	18k-30k	经验3-5年 / 本科	新东方在线thttps://www.lagou.com/gongsi/9933.html	移动互联网,教育 / 不需要融资
Java工程师	[来广营]	1天前发布	15k-25k	经验3-5年 / 本科	e代驾thttps://www.lagou.com/gongsi/51835.html	移动互联网,O2O / D轮及以上
JAVA	[望京]	1天前发布	15k-25k	经验3-5年 / 本科	普奥云信息thttps://www.lagou.com/gongsi/91666.html	数据服务 / A轮
Java开发工程师	[团结湖]	2天前发布	15k-25k	经验3-5年 / 本科	资产360thttps://www.lagou.com/gongsi/48622.html	移动互联网,O2O / B轮
Java开发工程师	[三元桥]	2天前发布	15k-25k	经验3-5年 / 本科	友信thttps://www.lagou.com/gongsi/6616.html	金融 / 不需要融资
java开发工程师	[西北旺]	1天前发布	18k-25k	经验3-5年 / 本科	跟谁学thttps://www.lagou.com/gongsi/35361.html	移动互联网,教育 / A轮
JAVA开发工程师	[北京大学]	1天前发布	15k-25k	经验3-5年 / 本科	AbleCloudthttps://www.lagou.com/gongsi/43655.html	硬件 / B轮
JAVA开发工程师	[八角]	2天前发布	15k-23k	经验3-5年 / 本科	畅游thttps://www.lagou.com/gongsi/280.html	移动互联网,游戏 / 上市公司
Java开发工程师	[朝阳门]	1天前发布	14k-20k	经验3-5年 / 本科	云帐房thttps://www.lagou.com/gongsi/140172.html	移动互联网 / B轮
Java高级开发工程师	[苏州街]	1天前发布	20k-40k	经验5-10年 / 本科	拉勾网thttps://www.lagou.com/gongsi/147.html	企业服务,招聘 / D轮及以上
高级Java研发工程师	[望京]	02:17发布	30k-40k	经验3-5年 / 本科	美团点评thttps://www.lagou.com/gongsi/50702.html	移动互联网,O2O / D轮及以上
java 5年	[望京]	08:57发布	25k-35k	经验5-10年 / 本科	丽兹行thttps://www.lagou.com/gongsi/124195.html	企业服务,广告营销 / 不需要融资
Java开发工程师	[中关村]	1天前发布	16k-23k	经验3-5年 / 本科	新东方在线thttps://www.lagou.com/gongsi/9933.html	移动互联网,教育 / 不需要融资
Java开发工程师	[大屯]	1天前发布	15k-25k	经验5-10年 / 本科	奥琦玮thttps://www.lagou.com/gongsi/28659.html	移动互联网,O2O / B轮
java开发工程师	[酒仙桥]	2017-12-22	18k-30k	经验3-5年 / 本科	蓝信移动（北京）科技有限公司thttps://www.lagou.com/gongsi/27298.html	移动互联网 / B轮
Java开发工程师	[北京]	1天前发布	15k-25k	经验3-5年 / 本科	Trusfort芯盾时代thttps://www.lagou.com/gongsi/97399.html	移动互联网,信息安全 / B轮
JAVA	[太阳宫]	1天前发布	20k-30k	经验5-10年 / 本科	育学园thttps://www.lagou.com/gongsi/53813.html	移动互联网,生活服务 / C轮
Java工程师	[亮马桥]	1天前发布	30k-50k	经验5-10年 / 本科	中信云网thttps://www.lagou.com/gongsi/147548.html	移动互联网,金融 / 不需要融资
Java开发工程师	[西北旺]	1天前发布	18k-25k	经验3-5年 / 本科	深思数盾thttps://www.lagou.com/gongsi/21190.html	信息安全,移动互联网 / 不需要融资
Java	[西直门]	1天前发布	25k-35k	经验5-10年 / 本科	Udesk－企业级智能客服平台thttps://www.lagou.com/gongsi/25439.html	其他 / B轮
java	[望京]	2天前发布	20k-35k	经验5-10年 / 本科	思源科技thttps://www.lagou.com/gongsi/82069.html	移动互联网,社交网络 / 不需要融资
JAVA工程师	[上地]	2017-12-20	15k-20k	经验5-10年 / 大专	青柠创享thttps://www.lagou.com/gongsi/29663.html	移动互联网 / 不需要融资
Java开发工程师	[立水桥]	1天前发布	20k-30k	经验5-10年 / 本科	闲徕互娱thttps://www.lagou.com/gongsi/124192.html	游戏 / 不需要融资
Java开发工程师	[太阳宫]	1天前发布	20k-30k	经验3-5年 / 本科	蜜芽thttps://www.lagou.com/gongsi/9127.html	电子商务 / D轮及以上
Java	[海淀区]	1天前发布	30k-50k	经验3-5年 / 本科	搜狐媒体thttps://www.lagou.com/gongsi/106303.html	移动互联网,广告营销 / 上市公司
Java	[海淀区]	1天前发布	30k-50k	经验3-5年 / 本科	搜狐媒体thttps://www.lagou.com/gongsi/106303.html	移动互联网,广告营销 / 上市公司
Java开发工程师	[苏州街]	1天前发布	15k-30k	经验3-5年 / 本科	拉勾网thttps://www.lagou.com/gongsi/147.html	企业服务,招聘 / D轮及以上
Java软件工程师（Base南京）	[知春路]	2天前发布	15k-30k	经验5-10年 / 本科	vivothttps://www.lagou.com/gongsi/19875.html	移动互联网 / 未融资
Java开发工程师	[学院路]	1天前发布	15k-22k	经验3-5年 / 本科	北京智慧图thttps://www.lagou.com/gongsi/1337.html	移动互联网,数据服务 / C轮
Java工程师	[广渠门]	1天前发布	15k-25k	经验3-5年 / 本科	家园网thttps://www.lagou.com/gongsi/53137.html	O2O / 不需要融资
java研发工程师	[东四]	1天前发布	15k-20k	经验3-5年 / 本科	集奥聚合（GEO）thttps://www.lagou.com/gongsi/13179.html	数据服务 / B轮
JAVA	[望京]	08:57发布	15k-30k	经验3-5年 / 本科	丽兹行thttps://www.lagou.com/gongsi/124195.html	企业服务,广告营销 / 不需要融资
资深Java研发工程师	[望京]	02:17发布	35k-45k	经验3-5年 / 本科	美团点评thttps://www.lagou.com/gongsi/50702.html	移动互联网,O2O / D轮及以上
JAVA工程师	[中关村]	1天前发布	20k-30k	经验3-5年 / 本科	易快报thttps://www.lagou.com/gongsi/45121.html	移动互联网,企业服务 / A轮
Java开发工程师	[望京]	1天前发布	15k-28k	经验3-5年 / 本科	Coupangthttps://www.lagou.com/gongsi/49363.html	移动互联网,O2O / 不需要融资
Java开发工程师	[大望路]	1天前发布	20k-35k	经验3-5年 / 硕士	宜信thttps://www.lagou.com/gongsi/3786.html	金融 / 上市公司
java	[中关村]	1天前发布	15k-25k	经验3-5年 / 大专	亿迅科技thttps://www.lagou.com/gongsi/34798.html	游戏 / C轮
Java工程师	[亦庄]	1天前发布	18k-30k	经验3-5年 / 本科	京东商城thttps://www.lagou.com/gongsi/139755.html	电子商务 / 上市公司
Java开发工程师	[北京]	2天前发布	20k-40k	经验5-10年 / 本科	京东金融thttps://www.lagou.com/gongsi/534.html	金融 / 上市公司


  






小田同学tdx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python实现多线程爬虫
01-27
其实网络上已经有很多基于Python的入门爬虫程序了，所以学习起来比较方便，唯独那个多线程爬虫一直都学的不是很明白，所以就写下这篇blog记录一下学到的一些东西（主要是对自己所学的一些东西进行整理和总结）。...
基python实现多线程网页爬虫
09-21
总的来说，这个Python多线程网页爬虫示例展示了如何结合使用 `threading` 模块和广度优先搜索策略来高效地爬取互联网上的网页。通过合理地分配线程任务并使用同步机制，可以显著提高爬虫的性能，尤其是在处理大型...
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
多线程多进程的python爬虫脚本项目（可爬起点小说VIP内容）
Du_XiaoNan的博客
06-19 2034
在当今的网络时代，信息传播趋于自由化且高速发展，无数的信息倾泻而下，可以从互联网获取的信息类型有很多，例如新闻、博客、论坛，乃至小说。对于读者来说，如果能有一种程序它可以自动地从网络上抓取我们需要的小说，那么阅读将会变得更加快捷和便利。为此，我计划设计并实现一个网络爬虫程序，以自动爬取起点中文网的特定小说并下载到本地。
python3爬虫中多线程的优势总结
01-19
而且之前讲过的GIL也是对python多线程的一种限制。那么，我们为什么还要用多线程呢？当然是多线程的优势已经掩盖了它本身不足之处，所以我们来加强一下学习python多线程的信心吧~ 总结起来，使用多线程编程具有如下...
python支持多线程的爬虫实例
12-23
总之，Python的多线程特性为爬虫提供了强大的并发能力，通过合理地组织和控制线程，可以在遵守网站规则的前提下，高效地抓取和处理大量网页数据。同时，使用锁机制确保了在多线程环境下数据的一致性，避免了可能出现...
基于DBSCAN聚类算法的通用论坛正文提取
tiandd12的博客
06-07 4060
通用论坛正文爬取 这是今年和队友一起参加第五届泰迪杯的赛题论文，虽然最终只获得了一个三等奖。但是在这个过程中和队友也一起学到了不少东西，特此记录。 1、  简单介绍 赛题的目的，是让参赛者对于任意 BBS 类型的网页，获取其 HTML 文本内容，设计一个智能提取该页面的主贴、所有回帖的算法。 http://www.tipdm.org/jingsa/1030.jhtml?cName=ral_
linux cuda10.0使用pip安装pytorch
tiandd12的博客
11-08 3470
wget https://download.pytorch.org/whl/cu100/torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whl wget https://download.pytorch.org/whl/cu100/torchvision-0.4.1%2Bcu100-cp36-cp36m-linux_x86_64.whl\ 下载上述文件，...
python+cv2 模拟生成QQ、微信截图中的箭头
tiandd12的博客
12-24 1236
参考链接：http://yuncode.net/code/c_5acf1045152e662 最近需要生成一批含有箭头的样本，cv2自带的画箭头的函数和微信截图中画箭头的形状不一样，因此需要重新写一个生成微信箭头的函数（如果cv2有，请告诉我一下） 微信、QQ截图 箭头形状cv2 自带函数生成  *** 可以观察到两者的主要差异体现在 尾部和箭头   利用python+cv2生成：（可自...
window下python安装 geopandas
tiandd12的博客
08-08 978
参考：https://geoffboeing.com/2014/09/using-geopandas-windows/ 简单翻译一下： 安装geopandas 有两种方式 1、安装Anaconda， 然后安装geopandas， 如果不想安装anconda则使用第二种方法。 2、手动安装 手动安装步骤： 需要安装依赖，GDAL、Fiona、pyproj、rtree 和 sh...
python 混淆矩阵 记录
tiandd12的博客
12-20 920
from sklearn.metrics import accuracy_score, confusion_matrix, f1_score def plotCM(classes, matrix, savname): """classes: a list of class names""" # Normalize by row # matrix = matrix.asty...
python 利用多进程进行爬虫（二）
tiandd12的博客
01-01 598
上次写的python多线程爬虫，并没有充分利用cpu资源，实际上只进行了一个核。这里简单的介绍一下几个函： pool = Pool(3) #根据cpu核数设置进程个数 pool.map(get_infor,urls) ，#map函数的作用，将urls中每个元素到放入到get_infor中执行一遍 pool.close() #关闭进程池 pool.join() #等待全部进程结束代码：
windows下python numpy,scipy,pandas 等模块的安装
tiandd12的博客
02-21 587
1、首先进入http://www.lfd.uci.edu/~gohlke/pythonlibs/  找到和你需要的 .whl 包，必须和你安装的Python的版本对应。 2、进入dos 命令， 进入到你安装的Python目录下的 scripts文件夹下，同时把你刚才下载好的包复制到这个文件夹下。 3、输入 pip install ****.whl 就ok了 4、如果，第三部不可以执行，在pi
数学建模之数据分析【先导片】
最新发布
lmx1458070445的博客
08-05 701
数据分析的定义为研究、清理、建模和转换数据，以找到有用的信息、提出结论并支持决策。
python字符串数据容器练习（replace,split,count）
2301_79600015的博客
07-31 691
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
【BUG】Gunicorn [CRITICAL] WORKER TIMEOUT (pid:41518)
集电极
07-31 261
在使用Gunicorn 启动一个Flask服务后，访问接口响应错误，查看日志发现了该错误。具体上，我的接口大约需要2分钟才将结果返回，因此我的超时时间应该设置为200秒比较合适。秒内没有返回结果，Gunicorn 会弹出超时错误，并且会杀死flask服务重启。：接口返回时间超时。默认情况下，Gunicorn 超时时间为。样例，设置超时时间为200秒。解决方法是在启动命令中。
Java 设计模式之桥接模式（Bridge Pattern）
微笑听雨
08-05 629
桥接模式（Bridge Pattern）是一种用于将抽象部分与其实现部分分离的结构型设计模式。这种模式通过组合关系而不是继承关系来连接抽象与实现，使代码更具扩展性和维护性。桥接模式的核心思想是将抽象和实现解耦，使得两者可以独立变化。桥接模式（Bridge Pattern）是一种结构型设计模式，旨在将抽象部分与其实现部分分离，从而使两者可以独立地变化。桥接模式通过组合关系代替继承关系，将抽象和实现解耦，使代码更具扩展性和维护性。
Python多线程网络爬虫设计与实现
在Python多线程编程方面，论文深入探讨了多线程的概念，包括全局解释器锁（GIL）的影响，线程的创建与管理，以及线程间的通信与同步机制。GIL是Python解释器的一个特性，它限制了在同一时刻只有一个线程执行Python...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值