python爬虫案例：抓取网易新闻

最新推荐文章于 2024-08-03 15:58:00 发布

weixin_34128501

最新推荐文章于 2024-08-03 15:58:00 发布

阅读量1.3w

点赞数 13

文章标签：爬虫 python json

原文链接：https://segmentfault.com/a/1190000016494361

版权

本文介绍了如何使用Python爬虫抓取网易新闻，包括新闻标题、作者、来源、发布时间和正文。通过分析网络请求，找到API接口，利用requests和json库获取数据，BeautifulSoup解析HTML。最后，文章讨论了如何保存采集的数据，并提出异步IO作为提升爬虫效率的优化方向。

摘要由CSDN通过智能技术生成

此文属于入门级级别的爬虫，老司机们就不用看了。

本次主要是爬取网易新闻，包括新闻标题、作者、来源、发布时间、新闻正文。

首先我们打开163的网站，我们随意选择一个分类，这里我选的分类是国内新闻。然后鼠标右键点击查看源代码，发现源代码中并没有页面正中的新闻列表。这说明此网页采用的是异步的方式。也就是通过api接口获取的数据。

那么确认了之后可以使用F12打开谷歌浏览器的控制台，点击Network，我们一直往下拉，发现右侧出现了："... special/00804KVA/cm_guonei_03.js? .... "之类的地址，点开Response发现正是我们要找的api接口。

在这里插入图片描述
可以看到这些接口的地址都有一定的规律：“cm_guonei_03.js”、 “cm_guonei_04.js”，那么就很明显了：

http://temp.163.com/special/0...*).js

上面的连接也就是我们本次抓取所要请求的地址。
接下来只需要用到的python的两个库：

requests

json

Beauti

关注