热榜排行爬虫详解

作为一个爬虫必须摸不一样的鱼，平时大家怎么看热榜，今天爬一个热榜数据，咱就在ied中读热榜。还是一个乌龙事件听我细细道来。

1，话不多说，今天图也不看了直接进入主题，打开网站首页抓个包

2，可见接口中有两个参数，第二个参数盲猜是请求时候的时间戳，第一个参数有点长不像是正常的时间戳，多翻几页发现第一个参数也是一个时间戳只是后面加了三个000，咱们就去掉三个零（这里多请求了几页没有发现翻页的变化规律）

2.1，第二个参数转换发现就是请求时间没错

2.2，第一个参数转换瞬间我这充满智慧的大脑里出现了无数想法（这是随机的）（这是文章发布时间）（文章发布时间放到翻页怎么获取呢）（这是网站反爬生成一堆时间戳映射到page上做翻页）（这是通过算法和请求时间做比较生成对应的page进行翻页）（。。。）然后我就去了后台看看查一下这个参数名

只一眼，并带着对这种小网站的看不起，直接到response中一检索果然。小网站哪有什么高端反爬

3，直接上代码，翻页就不再多谢，拿到参数之后可以自己向下补充了

headers = {
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Cache-Control': 'no-cache',
    'Connection': 'keep-alive',
    'Cookie': 'deviceId=web.eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiJhNjNkZjYxZS00ODZhLTQzNTgtODNmMy1hNDlkMjdkMmI4ZmUiLCJleHBpcmUiOiIxNjY1MjIyMzY3MDAwIn0.eQF9za4cSq8huEESJPn0nDP3PUsDiVNZ4CM_fTAeWMg; Hm_lvt_03b2668f8e8699e91d479d62bc7630f1=1662630378',
    'Pragma': 'no-cache',
    'Referer': 'https://dig.chouti.com/',
    'Sec-Fetch-Dest': 'empty',
    'Sec-Fetch-Mode': 'cors',
    'Sec-Fetch-Site': 'same-origin',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
    'sec-ch-ua': '" Not A;Brand";v="99", "Chromium";v="100", "Google Chrome";v="100"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}
import time
params = {
    'afterTime': '1681236005077000',
    '_': f'{int(time.time()*1000)}',
}

response = requests.get('https://dig.chouti.com/link/hot', params=params, headers=headers).json()['data']
next_afterTime = response[-1]['operateTime']
print(next_afterTime)
for res in response:
    title = res['title']
    url = res['url']
    print(title)
    yes = input()
    if yes == '1':
        print(url)

4，ok这样的话就只需要看到想看的题目就输入1返回url，就可以自行观赏了，跑一下！

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

​

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

2️⃣国内外Python书籍、文档

① 文档和书籍资料

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓
​