抓取下网页代码之后,下一步就是从网页中提取信息,提取信息的方式有多种多样,可以使用正则来提取,但是写起来会相对比较繁琐。在这里还有许多强大的解析库,如 LXML、BeautifulSoup、PyQuery 等等,提供了非常强大的解析方法,如 XPath 解析、CSS 选择器解析等等,利用它们我们可以高效便捷地从从网页中提取出有效信息。
本节我们就来介绍一下这些库的安装过程。
1.2.1 LXML的安装
LXML 是 Python 的一个解析库,支持 HTML 和 XML 的解析,支持 XPath 解析方式,而且解析效率非常高。
1. 相关链接
2. Mac下的安装
pip3 install lxml
如果产生错误,可以执行如下命令将必要的类库安装:
xcode-select --install
之后再重新运行 Pip 安装就没有问题了。
LXML 是一个非常重要的库,后面的 BeautifulSoup、Scrapy 框架都需要用到此库,所以请一定安装成功。
3. 验证安装
安装完成之后,可以在 Python 命令行下测试。
$ python3
>>> import lxml
如果没有错误报出,则证明库已经安装好了。
1.2.2 BeautifulSoup的安装
BeautifulSoup 是 Python 的一个 HTML 或 XML 的解析库,我们可以用它来方便地从网页中提取数据,它拥有强大的 API 和多样的解析方式,本节我们了解下它的安装方式。
1. 相关链接
2