用selenium爬取拉钩网的职位信息

最新推荐文章于 2020-04-30 13:12:08 发布

wg5foc08

最新推荐文章于 2020-04-30 13:12:08 发布

阅读量368

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/wg5foc08/article/details/99421199

版权

本文介绍如何使用selenium工具来绕过拉勾网的反爬策略，通过模拟浏览器行为获取ajax加载的职位信息。在requests库无法完全获取数据的情况下，selenium能实现对网页的完整爬取。

摘要由CSDN通过智能技术生成

拉钩网的职位信息数据为ajax数据，抓取ajax数据可以直接分析数据的url接口，但是直接用requests库发送url请求会被拉钩网识别出来。1.可以通过session保存会话信息模拟请求，这时可以爬取部分信息数据，但是仍然不能爬取大量的或者完整的数据2.用selenium模拟浏览器爬取拉钩网的数据，可以完整的爬取本文拟爬取的url
代码1：

import requests
from lxml import etree
import re
s = requests.Session()
headers = {
    'Host': 'www.lagou.com',
    'Referer': 'https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec - Fetch - User': '?1',
    'Cache-Control': 'max-age=0',
    'Accept-Language': 'zh-CN,zh;q=0.9'
    # 'Cookie':'user_trace_token=20190812112316-0d50e102-1a67-4513-b2ed-829f86e84cf8; _ga=GA1.2.360922141.1565580207; LGUID=20190812112326-8c451941-bcb0-11e9-8932-525400f775ce; LGSID=20190812113115-a3cc62cd-bcb1-11e9-8933-525400f775ce; sajssdk_2015_cross_new_user=1; LG_HAS_LOGIN=1; JSESSIONID=ABAAABAAAGGABCB22B752908545747F65EBAE7CCAA3ACA0; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=0; privacyPolicyPopup=false; index_location_city=%E5%B9%BF%E5%B7%9E; WEBTJ-ID=20190812113313-16c83e318763fb-05af2e1098214a-7373e61-1049088-16c83e3187725c; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2216c83e22bc4d4-0c3ca016d58f8b-7373e61-1049088-16c83e22bc5bf%22%2C%22%24device_id%22%3A%2216c83e22bc4d4-0c3ca016d58f8b-7373e61-1049088-16c83e22bc5bf%22%2C%22props%22%3A%7B%22%24latest_utm_source%22%3A%22m_cf_cpt_baidu_pcbt%22%7D%7D; LG_LOGIN_USER_ID=0a449e99436de8476af49c4bcc4264d477b7c86f6531a3f2a1241f689cd400bf; _putrc=CEDE58