爬虫抓取总是抓不全网页源码_爬虫-三种网页抓取的方式

首先是正则表达式 ，然后是流行的BeautifulSoup模块，最后是强大的lxml模块。

性能对比

1、正则表达式

详细操作在

空心人：正则表达式​zhuanlan.zhihu.com

2、BeautifulSoup

安装命令：

pip install beautifulsoup4

使用 BeautifulSoup 的第一步是将己下载的 HTML 内容解析为 soup 文档 。由于大多数网页都不具备良好的 HTML 格式，因此 Beautiful Soup 需要对其实际格式进行确定。例如，在下面这个简单网页的列表中，存在属性值两侧引号缺失和标签未闭合的问题。

如果Population列表项被解析为 Area 列表项的子元素，而不是并列的两个列表项的话，我们在抓取时就会得到错误的结果 。

from bs4 import BeautifulSoup
broken_html = "<ul class=country><li>Area</li><li>Population</ul>"
#解析html
soup = BeautifulSoup(broken_html, 'html.parser')
fixed_html = soup.prettify()
print(fixed_html)

得到的结果如下：

3、Lxml

3.1最新的Lxml安装教程

Installing lxml​lxml.de