爬取拉勾网感兴趣的招聘信息,并用自己的抠脚技术分析下?
爬取目标:
+ 爬取拉勾网上自己感兴趣的职位
+ 获取每个职位的大致信息
+ 凭想象分析爬取结果(MySql+Excel)
0、爬取效果:
1、分析
爬取的目标url为:’https://www.lagou.com/zhaopin/‘+ language + ‘/’+ pageIndex +’/?filterOption=’+pageIndex,这次是除了多页还有多分类的爬取,于是我想了一个办法,将想要爬去的分类存到一个txt中,然后读入文件存成一个列表
#加载所需要爬取的岗位
def load_position():
f = open('position.txt','r',encoding='utf-8')
global position_d
for line in f.readlines():
position.append(line.strip('