scrapy爬虫学习备忘录(1)

虚拟环境的安装与配置

Anacodna之conda与 virtualenv对比使用教程，创建虚拟环境

virtualenv创建虚拟环境

cmd下执行一下命令：
1. 安装：conda install virtualenv
2. 新建虚拟环境：virtualenv XXX (可以指定python版本：virtualenv -p C:\Users\lifengxi\anaconda\anaconda3\python.exe XXX会在当前目录下创建一个虚拟环境XXX
3. 进入cd acrapytest → cd Scripts →运行activate.bat,
4. 退出虚拟环境 :deactivate.bat

virtualenvwrapper

上面每次进入virtual我们都需要进入到virtualenv的目录下，一旦virtualenv过多，就蛋疼了，接下来隆重推荐virtualenvwrapper

1. 安装virtualenvwrapper

pip install virtualenvwrapper-win

设置WORK_HOME环境变量

2. 新建虚拟环境

mkvirtualenv bobbyvir

3. 查看安装的所有虚拟环境

workon

注： 这里不能查看到有virtualenv创建的虚拟环境，只能查看mkvirtualenv创建的虚拟环境

4. 进入虚拟环境

workon bobbyvir

5. 退出虚拟环境

deactivate

python虚拟环境中安装Scrapy

进入虚拟环境以后，安装Scrapy的依赖包，由于python中没有默认安装lxml和pyOpenSSL，所有要手动安装，

总共需要安装下面的几个
Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy
依次执行
pip/conda install Zope.Interface
pip/conda install Twisted
pip/conda install w3lib
pip/conda install lxml
注意：这一步安装的时候如果出错，就指定安装的版本号，本机安装的是3.6.0，没问题
如果上步出错，运行pip install lxml==3.6.0
pip install pyOpenSSL
pip install Scrapy