python爬网易新闻_爬虫入门：如何用python爬取网易新闻？

脚本之家

你与百万开发者在一起

作者：江一

出品 | 脚本之家(ID：jb51net)

网络爬虫是帮助我们抓取互联网上有用信息的利器。如果你有一点python基础，实现一个简单的爬虫程序并不难。今天，我们以一个实际的例子——爬取网易新闻，重点介绍使用 BeautifulSoup 对HTML进行解析处理。

1.寻找数据特征

网易新闻的网址 URL 为：https://www.163.com/我们打开网页看看：

我们需要爬取这个页面每一条新闻的标题，鼠标右击一条新闻的标题，选择“检查元素”， 出现下图的窗口：

图片中蓝框的位置就是那一条新闻标题在 HTML 中的结构、位置和表现形式： ,它上一级元素为：，再上一级元素为：

再上一级元素为：

我们再看另一条新闻的标题，发现它的结构和之前我们分析的新闻标题的结构是一样的。通过这些信息，我们就可以确定新闻标题在 HTML 文档中的位置。接下来，我们开始使用 Python 对网易新闻标题进行爬取。

2.编写爬取代码

首先呈上完整的代码：

运行程序，获取到的部分结果为如下所示：