python-requests多线程爬取招聘网站信息
以下内容为实现在招聘网站爬取某个岗位的招聘信息，使用requests方式获取信息。首先导入需要用到的包import csvimport jsonfrom queue import Queuefrom re import findallimport requestsfrom threadPool import ThreadPool, makeRequests定义一个获取网页信息的函数,headers中需要修改User-Agent的信息，模拟用户登陆。如果返回的状态码是200，说明获取页面成
原创
2020-09-03 20:59:07 ·
1014 阅读 ·
0 评论
关注
分享
扫一扫