Requests:最友好的网络爬虫功能库,python最主要的页面级网络爬虫功能库。参考:http://www.python-requests.org/
举例:
import requests
r=requests.get('https://blog.csdn.net/CSDNedu/article/details/90231106',auth=('user','pass'))
r.status_code
r.headers['content-type']
r.encoding
r.text
运行结果:显示网页的信息
Scrapy:提供了构建优秀的网络爬虫框架功能。参考:https://scrapy.org
pyspider:强大的Web页面爬取系统。参考:http://docs.pyspider.org