本文由 简悦 SimpRead 转码, 原文地址 bbs.huaweicloud.com
这篇文章能够快速教你爬取新浪新闻。希望这篇文章对您有所帮助!如果您有想学习的知识或建议,可以给作者留言~ 如何快速爬取新浪新闻并保存到本地 一…
这篇文章能够快速教你爬取新浪新闻。希望这篇文章对您有所帮助!如果您有想学习的知识或建议,可以给作者留言~
- 此为一个系列,并将持续更新:
专栏链接:快速入门之爬虫
1、网页加载模式
- 动态网页
动态网页不同于传统的静态网页,如果想用传统的方式爬取,会出错的。
- 静态网页
上图为传统的静态网页。
2、网页结构
列表页 - 详情页
API 遍历
1、找到 API
- 使用开发人员工具 - network 模块找到 API
- API:https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page=1&r=0.7210316507361691&callback=jQuery1112011987950839178185_1585738993071&_=1585738993083