1.lxml
支持HTML和XML的解析,支持Xpath解析方式。
pip install lxml
2.Beautiful Soup
拥有强大的API和多样的解析方式
pip install beautifulsoup4
3.pyquery
提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器。
pip install pyquery
4.tesserocr
在爬虫过程中难免会遇到各种各样的验证码,而大多数验证码还是图形验证码,这就需要直接用OCR来识别。(OCR——Optical Character Recognition,光学字符识别,指通过扫描字符,然后通过其形状将其翻译成电子文本的过程。对于图形验证码来说它们都是一些不规则的字符,这些字符确实是由字符稍加扭曲变换得到的内容。例如为嘛可以使用OCR技术来将图形验证码转化为电子文本,然后爬虫将识别结果提交给服务器,便可以达到自动识别验证码的过程。)
tesserocr是python的一个OCR识别库但其实是对tesseract做的一层API封装,所以它的核心是tesseract,所以在装tesserocr之前先装tesseract。
tesserocr Github:https://github.com/sirfz/tesserocr
tesserocr PyPI:https://pypi.python.org/pypi/tesserocr
tesseract下载地址:https://digi.bib.uni-mannheim.de/tesseract
tesseract Github:https://github.com/tesseract-ocr/tesseract
tesseract语言包:https://github.com/tesseract-ocr/tessdata
tesseract文档:https://github.com/tesseract-ocr/tesseract/wiki/Documentation
先下载tesseract,打开下载界面,文件名中带dev的是开发版本,不带的是稳定版本。
勾选图中的深色部分,然后一直next。
接下来安装tesserocr
pip install tesserocr pillow