抓取网页代码之后,下一步就是从页面中提取信息。提取信息的方式多种多样,可以使用正则来提取,但是写起来相对比较繁琐。还有许多强大的解析库,如lxml、Beautiful Soup、pyquery等。此外还提供了非常强大的解析方法,如XPath解析和CSS选择器解析等,利用它们,我们可以高效便捷地从网页中提取有效信息。
一、lxml的安装
lxml是Python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
1.相关链接
2.安装
pip3 install lxml
二、Beautiful Soup的安装
Beautiful Soup是Python的一个HTML或XML的解析库,我们可以用它来方便地从网页中提取数据。Beautiful Soup的HTML和XML解析器是依赖lxml库的,所以在此之前要确保已经成功安装lxml库。
pip安装
pip3 install beautifulsoup4
三、pyquery的安装
pyquery同样是一个强大的网页解析工具,它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便。
pip安装
pip3 install pyquery
四、tesserocr的安装
在爬虫过程中,难免会遇到各种各样的验证码,而大多数验证码还是图形验证码,这时候我们可以直接用OCR来识别。
安装
在Windows下,首先需要下载tesseract,下载地址为:http://digi.bib.uni-mannheim.de/tesseract。
下载完成后双击,勾选Addition language data选项来安装OCR识别支持的语言包,这样OCR边可以识别多国语言。
接下来,再安装tesserocr,使用pip安装:
pip3 install tesserocr pillow