爬取51job职位信息

最新推荐文章于 2024-07-09 14:45:02 发布

zzti_lhh

最新推荐文章于 2024-07-09 14:45:02 发布

阅读量1.7k

点赞数 1

分类专栏： Python

本文链接：https://blog.csdn.net/lhhnb/article/details/86215312

版权

该博客详细讲解了如何爬取51job网站上的职位信息。首先获取所有城市的key值，接着向包含城市信息的JS页面发起请求，通过解析获取总页数。然后逐页遍历，抓取每页的职位详情页URL，进一步提取所需职位详情。

摘要由CSDN通过智能技术生成

讲解：

首先获取一下所有城市对应的key值，找到所有城市所在的json字符串，向json所在的js页面发送请求，获取信息，然后从第一页获取总的页数，然后遍历所有页数，每到新的一页，找到所有职位信息的详情页url，遍历详情页，获取所要的职位信息。

代码：

import sqlite3,re,json
from urllib.request import urlopen, Request, urlretrieve
from urllib.error import HTTPError


def crawler_city_num():
    """
    请求并解析城市编码函数
    :return: 返回一个字典
    """
    # decode()函数默认使用utf8转化字节，但是51job网页采用的是gbk编码（<meta http-equiv="Content-Type" content="text/html; charset=gbk">） charset属性就是用来设置网页的编码方式的，所以需要使用decode('gbk')将bytes转化成str,与网页编码方式同步！
    js_connect=urlopen('https://js.51jobcdn.com/in/js/2016/layer/area_array_c.js?20180319').read().decode('gbk')
    str_list = js_connect.split('=')
    str_dict = str_list[1].replace(';', '')
    dic = json.loads(str_dict) # 把json字符串转化为字典
    new_dict = {
   }
    for key, value in dic.items():
        new_dict[value] = key
    return new_dict



class Crawler(object):
    def __init__(self