web crawler 抓某前程的小小tips（低调发育）

最新推荐文章于 2022-12-23 12:00:46 发布

m0_67392661

最新推荐文章于 2022-12-23 12:00:46 发布

阅读量449

点赞数

分类专栏：面试学习路线阿里巴巴文章标签：前端爬虫 php 服务器数据库

本文链接：https://blog.csdn.net/m0_67392661/article/details/126812280

版权

本文记录了一位前端开发者在抓取某网站信息时遇到的签名错误问题，详细介绍了如何找到接口，分析请求头，以及如何解决签名不正确的问题，最终成功爬取数据的过程。

摘要由CSDN通过智能技术生成

???一个帅气的boy，你可以叫我
?? 个人主页：的个人主页
???如果对你有帮助的话希望三连???支持一下博主

在这里插入图片描述

爬取某小网站无用信息

登入网站
多次尝试，出现{“status”:“10002”,“message”:“签名不正确”,“resultbody”:{}} 报错
第二部分完整代码

登入网站

目标网站：'https://vapi.51job.com/job.php?apiversion=400&module=jobinfo&clientid=000005'
在这里插入图片描述

第一步：找接口，上图中选中岗位职责，在下方检查中查找岗位职责，第二个对应正确，message显示成功
打开标头，选择有用信息

在这里插入图片描述

import requests
headers = {
        'Accept':' application / json, text / javascript, * / *; q = 0.01',
        'Host': 'vapi.51job.com',
        'Origin': 'https://jobs.51job.com',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36'
    }

url = 'https://vapi.51job.com/job.php?apiversion=