python 爬虫智联招聘

最新推荐文章于 2024-08-23 12:55:23 发布

风华明远

最新推荐文章于 2024-08-23 12:55:23 发布

阅读量2k

点赞数 1

分类专栏： Python 文章标签：爬虫 python

本文链接：https://blog.csdn.net/weixin_42272768/article/details/117002364

版权

本文介绍了如何使用Python爬虫配合Cookie来获取智联招聘网站上的职位详情。首先需要在浏览器中登录智联招聘并获取Cookie，然后在爬虫代码中设置请求Header，确保爬虫能够正确携带Cookie进行访问。

摘要由CSDN通过智能技术生成

本方法使用cookie的方法下载智联招聘的职位。主要就是要先登录智联招聘，然后将对应的cookie作为爬虫访问的header。代码如下：

import requests
import re
import xlwt

def parse_one_page(html):
    '''
    解析HTML代码，提取有用信息并返回
    '''
    # 正则表达式进行解析
    pattern = re.compile('<span title=.*? class="iteminfo__line1__jobname__name">(.*?)</span>.*?'
                         '<span title=.*? class="iteminfo__line1__compname__name">(.*?)</span>.*?'
                         '<p class="iteminfo__line2__jobdesc__salary">\\n\s+(.*?)\\n.*?'
                         '<li class="iteminfo__line2__jobdesc__demand__item">(.*?)</li>', re.S)  # 匹配职位信息