Scrapy爬虫系列笔记之二:搭建python以及其虚拟环境_by_书訢

建议参照目录大纲，即笔记第一篇来了解大致路线后进行博客查阅。每大章的分支都十分清楚。

1.环境配置和基础知识铺垫

1.1搭建开发环境

1.1.1安装python

windows:
官网下载python2和python3，进行安装，记录对应安装路径，可以改变环境变量中的地址设置默认版本

linux:
例：sudo apt-get install python3.6

1.1.2python虚拟环境的安装以及配置

为什么要使用虚拟环境？
防止不同版本的python项目的依赖干扰

windows下，进入cmd

安装虚拟环境：
pip install virtualenv

创建虚拟环境：
virtualenv scrapyHome(这是自己为虚拟环境取的名字)

命令运行后例如我此时 C:\Users\Administrator>virtualenv scrapyHome
进入执行命令的路径（ C:\Users\Administrator）可以找到出现了一个文件夹，即我们的虚拟环境
**进入虚拟环境:***cd到虚拟环境文件夹下的Scripts
输入命令activate.bat，执行脚本
退出虚拟环境： deactivate.bat
创建执行python版本的虚拟环境：
virtualenv -p python对应版本安装路径包含python.exe一级的目录 虚拟环境名
这样就实现了windows下虚拟环境的创建

Linux下的操作

sudo apt-get install python-virtualenv
ls （查看目录下的文件）
virtualenv 环境名
ls （重新查看目录下的文件，可以发现出现了以环境名为名的新文件夹)
cd 环境名/
cd bin/
source activate（启动和windows不太一样）

python 版本指明与windows同理

好了以上就是python虚拟环境的基础操作。之后进入虚拟环境就可以使用常见操作进行安装依赖了,下面我使用的豆瓣源防止出现timeout的情况

pip install -i https://pypi.douban.com/simple scrapy
pip install -i https://pypi.douban.com/simple request
如果安装出现错误 library中可能有一些是没有安装的。直接去UCI下载缺少的包，进入虚拟环境，直接将缺少的包进行安装
pip install 绝对路径的XXX.whl

笔记一到十链接
http://blog.csdn.net/sx_csu2016sw/article/details/79284369
http://blog.csdn.net/sx_csu2016sw/article/details/79284427
http://blog.csdn.net/sx_csu2016sw/article/details/79284449
http://blog.csdn.net/sx_csu2016sw/article/details/79284469
http://blog.csdn.net/sx_csu2016sw/article/details/79284481
http://blog.csdn.net/sx_csu2016sw/article/details/79284491
http://blog.csdn.net/sx_csu2016sw/article/details/79284509
http://blog.csdn.net/sx_csu2016sw/article/details/79284525
http://blog.csdn.net/sx_csu2016sw/article/details/79284547
http://blog.csdn.net/sx_csu2016sw/article/details/79284567