怎么用爬虫筛选简历_登录_爬取并筛选拉钩网职位信息_自动提交简历

最新推荐文章于 2021-03-28 00:47:41 发布

weixin_39639514

最新推荐文章于 2021-03-28 00:47:41 发布

阅读量245

点赞数

文章标签：怎么用爬虫筛选简历

本文链接：https://blog.csdn.net/weixin_39639514/article/details/111735926

版权

该博客介绍了如何使用Python的requests库登录拉勾网并获取cookie，然后通过模拟登录和POST请求获取Python开发职位的JSON数据。内容包括分析URL，解析页面，设置请求头，以及筛选特定地区的职位信息。

摘要由CSDN通过智能技术生成

importrequests,re

session=requests.Session()#步骤一、首先登陆login.html，获取cookie

r1 = session.get('https://passport.lagou.com/login/login.html', headers={'Host': "passport.lagou.com",'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'})

X_Anti_Forge_Token= re.findall(r"window.X_Anti_Forge_Token = '(.*)';",r1.text)[0]

X_Anti_Forge_Code= re.findall(r"window.X_Anti_Forge_Code = '(.*)';",r1.text)[0]#步骤二、用户登陆，携带上一次的cookie，后台对cookie中的 jsessionid 进行授权

r3 =session.post(

url='https://passport.lagou.com/login/login.json',

data={'isValidate': True,#'username': '424662508@qq.com',

#'password': '4c4c83b3adf174b9c22af4a179dddb63',

'username':'18611453110','password':'bff642652c0c9e766b40e1a6f3305274','request_form_verifyCode': '','submit': '',

headers={'X-Anit-Forge-Code': X_Anti_Forge_Code,'X-Anit-Forge-Token': X_Anti_Forge_Token,'X-Requested-With': 'XMLHttpRequest',"Referer": "https://passport.lagou.com/login/login.html","Host": "passport.lagou.com","User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36",

)print(r3.text)#print(r3.headers)

#步骤三：进行授权

r4 = session.get('https://passport.lagou.com/