爬虫开发环境搭建-各种库的安装(基于python3.7)

基于Windows爬虫开发环境搭建

1.Python3的安装

1.1 安装包的下载python3.7
1.2 安装勾选Add Python 3.7 to PATH 自动配置环境变量。
1.3 测试验证

2. 创建Virtualenv爬虫虚拟环境

2.1 为了项目整洁最好给每个项目各自创建一个独立的python虚拟环境，不使用Anaconda是因为它太过繁重。
2.2 在命令行工具中输入 pip install virtualenv 下载 python 虚拟环境.
2.3 下载virtualenvwrapper-win 包管理虚拟环境，之后可以用workon进入虚拟环境。
2.4 修改虚拟环境存放的路径：在系统环境变量，添加WORKON_HOME为指定路径，当然也可以使用默认路径。

2.5. 创建虚拟环境：mkvirtualenv -p指定版本 虚拟环境名称
2.6 之后便可以使用虚拟环境了

3. 安装请求库

3.1 requests安装：pip install requests
3.2 selenium安装：pip install selenium
3.4 ChromeDriver 的安装：

• 3.4.1 检查Chrome的版本
  
• 3.4.2 找到chrome支持的chromedriver版本，我的版本是70，所以我选择2.43
  
• 下载解压到虚拟环境中
  
• 验证安装
  

4. 解析库的安装

4.1 lxml安装：pip install lxml
4.2 beautiful soup安装: pip install beautifulsoup4
4.3 pyquery 安装：pip install pyquery

5. 存储库安装

5.1 pymysql安装：pip install pymysql
5.2 pymono安装：pip install pymono
5.3 redis安装：pip install redis

6.爬虫框架安装

6.1 pyspider安装：pip install pyspider
6.2 Scrapy的安装

• 6.2.1安装pyOpenSSL,官网下载
  
• 6.2.2 执行pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl即可
• 6.2.3 安装Twisted 官网下载
  
• 6.2.4 执行pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl
• 6.2.5 安装pywin32官网下载
  
• 6.2.6 下载完毕双击安装即可
• 6.2.7 pip install scrapy

7. scrapy-redis 安装pip install scrapy-redis
   好了，到这里基本库就安装完了，后续依需要安装。