一、常用库:
1、requests 做请求的时候用到。requests.get("url")
2、selenium 自动化会用到。
3、lxml
4、beautifulsoup4
5、pyquery 网页解析库 说是比beautiful 好用,语法和jquery非常像。
6、pymysql 存储库。操作mysql数据的。
7、pymongo 操作MongoDB 数据库。
8、redis 非关系型数据库。
9、jupyter 在线记事本。
直接用命令行安装:pip3 install 库名 -i http://pypi.douban.com/simple
ps:-i 后面可以加其他国内的源,下载都会更加快,如果网速慢的话。
二、下面是安装scrapy的流程,一个一个库的按顺序安装。文末提供百度云下载。(3.6的scrapy依赖库)
- wheel
- pip install wheel
- lxml
- http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
- PyOpenssl
- https://pypi.python.org/pypi/pyOpenSSL#downloads
- Twisted
- http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- Pywin32
- https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
- Scrapy
- pip install scrapy
百度云链接:https://pan.baidu.com/s/17tSRsotdKOlf_RaajaRqyQ
提取码:hsac
失效请留言,更新链接