实战:爬取掘金热门文章——基于python爬虫

本文讲述了在爬取掘金热门文章过程中遇到的两个主要问题:一是缺少必要请求头导致返回不相关数据,二是由于数据频繁刷新带来的困扰。作者通过分析和调试最终成功获取到了所需信息。
摘要由CSDN通过智能技术生成

说一说爬取中的踩得坑,印象太深刻了

  1. 缺失一些必要的请求头时,掘金网站不会报错,而是给你返回不相关的一推数据,关键这些数据从形式上看还很像请求拿回来的数据。就这个坑害我思索了很长时间,可能还是我太菜了吧~
  2. 掘金网热门文章刷新频繁,往往几分钟前在调试页面看到的数据,跟刚请求到的数据略有不同,这又让我纠结了一些时间
    最后放上源码:
import requests, json,time
url = "https://api.juejin.cn/recommend_api/v1/article/recommend_all_feed"
info = {
   "id_type":2,"client_type":2608<
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值