Python爬虫解析网页的4种方式 值得收藏

用Python写爬虫工具在现在是一种司空见惯的事情，每个人都希望能够写一段程序去互联网上扒一点资料下来，用于数据分析或者干点别的事情。

我们知道，爬虫的原理无非是把目标网址的内容下载下来存储到内存中，这个时候它的内容其实是一堆HTML，然后再对这些HTML内容进行解析，按照自己的想法提取出想要的数据，所以今天我们主要来讲四种在Python中解析网页HTML内容的方法，各有千秋，适合在不同的场合下使用。

首先我们随意找到一个网址，这时我脑子里闪过了豆瓣这个网站。嗯，毕竟是用Python构建的网站，那就拿它来做示范吧。

我们找到了豆瓣的Python爬虫小组主页，看起来长成下面这样。

让我们用浏览器开发者工具看看HTML代码，定位到想要的内容上，我们想要把讨论组里的帖子标题和链接都给扒出来。

通过分析，我们发现实际上我们想要的内容在整个HTML代码的

这个区域里，那我们只需要想办法把这个区域内的内容拿出来就差不多了。

现在开始写代码。

1: 正则表达式大法

正则表达式通常被用