本文详细汇总了Python网络爬虫的各种库，包括网络库如urllib、requests，框架如Scrapy，HTML/XML解析器如BeautifulSoup，文本处理库如difflib、fuzzywuzzy，文件处理库如python-docx，自然语言处理库如NLTK，浏览器自动化库如selenium，异步网络编程库如asyncio，以及DNS解析库和计算机视觉库等。
Python爬虫，全称Python网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或脚本，主要用于抓取证券交易数据、天气数据、网站用户数据和图片数据等，Python为支持网络爬虫正常功能实现，内置了大量的库，主要有以下类型：
一、Python爬虫网络库
Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。
二、Python网络爬虫框架
Python网络爬虫框架主要包括：grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。
三、HTML/XML解析器
lxml：C语言编写高效HTML/ XML处理库，支持XPath；
cssselect：解析DOM树和CSS选择器；
pyquery：解析DOM树和jQuery选择器；
BeautifulSoup：低效HTML/ XML处理
订阅专栏 解锁全文
2862
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
