我Python采集了新榜热门内容，原来这就是别人能成为自媒体大佬的秘密！_python爬虫爬取自媒体爆文

首先爬虫常规操作找到目标数据的接口位置，打开抓包工具查看数据的加载方式，打开抓包工具的一瞬间数据没了

当前网页应该是做了开发者工具检测，把抓包工具以单独页面打开

单独打开就没有什么问题了，找到文件接口数据确定请求的url地址

数据的接口
https://edit.newrank.cn/xdnphb/editor/articleMaterial/searchArticleMaterial

当前接口的请求方式为post，post请求就意味着需要传递数据

item能明显看出来数据数据加载的格式、日期、种类，数据的翻页就是通过日期来进行，nonece和xyz是加密数据，进行简单判断nonece、xyz应该都是md5加密 先找到nonece、xyz的加密位置，可以通过全局搜索也可以xhr断点调试的方法，只要能找到数据的加密位置就行，辣条这里就直接通过xhr断点找寻数据的发送位置

通过抓包工具右边的call stack找到后续的执行过程一个个点击查看找到发送数据的是在哪里生成的 传递的data数据为h 现在我们只需要找到h的生成位置就好了，h是由u得来的u是c函数生成的，nonece，zyz就是是在c函数生成

给位置数据打上断点，查看数据的加载规律，nonece为u方法生成的9个参数里的随机值

xyz加密的数据是o加上&nonece和nonece的值，o的参数是网址加上appkey在加上item的值

"/xdnphb/editor/articleMaterial/searchArticleMaterial?AppKey=joker&item={"type":"lakh","period":"1#2021-09-18","order":"2","extra":"全部","ranklist_id":"","weixin_id":"","start_time":"2021-09-18"}&nonce=6a65cad87"

xyz加密的代码有点多，这是何等的卧槽

直接补环境好了，不去硬扣js代码了复制js代码到本地，先把加密函数给拿过来，把整个t函数拿到本地，自己运行尝试一下

大功告成，数据的加密方式，加密规则都解决了，现在用Python整合，对目标网址发送请求，获取数据进行保存,各位大佬js源码可以自行扣取，只要t函数就可以了。

效果展示

简易源码分享

import execjs
import requests
import csv
​
nonce = execjs.compile(open('nonce.js').read()).call('u')
date = input('请输入你需要的日期（2021-07-19）：')
xyz_code = '/xdnphb/editor/articleMaterial/searchArticleMaterial?AppKey=joker&item={"type":"lakh","period":"1#%s","order":"2","extra":"全部","ranklist_id":"","weixin_id":"","start_time":"2021-09-04"}&nonce=%s' % (date, nonce)
print(xyz_code)
xyz = execjs.compile(open('nonce.js').read()).call('t', xyz_code)
​
​
print(xyz)
url = "https://edit.newrank.cn/xdnphb/editor/articleMaterial/searchArticleMaterial"
​
data = {
    'item': '{"type":"lakh","period":"1#%s","order":"2","extra":"全部","ranklist_id":"","weixin_id":"","start_time":"2021-09-04"}' % date,
    'nonce': nonce,
    'xyz': xyz
}
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36',
    'referer': 'https://edit.newrank.cn/?module=article',
}
​
response = requests.post(url, headers=headers, data=data).json()
​
datas = response['value']['datas']
# print(response)
with open('新榜编辑器.csv', 'a', newline='', encoding='utf-8')as f:
​
    for data in datas:
        # print(data)
        csv_data = csv.DictWriter(f, fieldnames=['summary', 'publicTime', 'originalFlag', 'author', 'orderNum', 'likeCount', 'clicksCount', 'downloadStatus', 'title', 'type', 'url'])


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数同学面临毕业设计项目选题时，很多人都会感到无从下手，尤其是对于计算机专业的学生来说，选择一个合适的题目尤为重要。因为毕业设计不仅是我们在大学四年学习的一个总结，更是展示自己能力的重要机会。**

**因此收集整理了一份《2024年计算机毕业设计项目大全》，初衷也很简单，就是希望能够帮助提高效率，同时减轻大家的负担。**
![img](https://img-blog.csdnimg.cn/img_convert/af59f69e65bcdb94d58fa9c47fe40631.jpeg)
![img](https://img-blog.csdnimg.cn/img_convert/050578d209eada51329f301cb5580131.png)
![img](https://img-blog.csdnimg.cn/img_convert/aa0092846dae0a922c9fdd3d8f83d287.png)

**既有Java、Web、PHP、也有C、小程序、Python等项目供你选择，真正体系化！**

**由于项目比较多，这里只是将部分目录截图出来，每个节点里面都包含素材文档、项目源码、讲解视频**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024c （备注项目大全获取）**
![img](https://img-blog.csdnimg.cn/img_convert/c1d2d8116765f5b5802ac6625f55288e.png)

**由于项目比较多，这里只是将部分目录截图出来，每个节点里面都包含素材文档、项目源码、讲解视频**

**如果你觉得这些内容对你有帮助，可以添加VX：vip1024c （备注项目大全获取）**
[外链图片转存中...(img-Nj7EACU1-1712580169130)]