python爬取json数据以及单线程爬取腾讯招聘网站json信息实战

最新推荐文章于 2023-05-18 20:57:42 发布

VIP文章十三先生po

最新推荐文章于 2023-05-18 20:57:42 发布

阅读量408

点赞数

分类专栏： json 爬虫文章标签： python json

本文链接：https://blog.csdn.net/weixin_55579895/article/details/120460261

版权

判断网页对应信息的数据类型

json

先去XHR查找，没有再去all查找

单线程爬取腾讯招聘网站json信息实战

import time 
import requests
from user_agent import headers
import cchardet
from retrying import retry
import json
import jsonpath


# https://careers.tencent.com/tencentcareer/api/post/Query?&keyword=python&pageIndex=5&pageSize=10

class Tenxun(object):
    def __init__(self):
        self.url = 'https://careers.tencent.com/tencentcareer/api/post/Query?'
        self.proxies = {'http':'121.237.88.178:3000'}

    def get_url(self):
        '''生成url列表'''
        # 网址的其他参数靠传参的方式生成
        params = []
        for i in range(1,5):
            param = {
                'keyword':'python',
                'pageIndex': i,
                'pageSize':'10'
            }
            params.append(param)