分布式爬虫学习笔记

安装python 虚拟环境    （将使用python2/3的项目分开）
    1、安装virtualenvcmd
            cmd命令:pip install virtualenv
    2、因为下载开发包很慢，所以下载开发包的第三方镜像--python豆瓣源（百度）
        安装djangio
            cmd命令:pip install -i https://pypi.douban.com/simple/  django
    3、新建virtualenv
            cmd命令:E:\virtualenv_test>virtualenv scrapytest
                该目录下就会出现scrapytest虚拟环境，里面是python最初的包
            
            E:\virtualenv_test\scrapytest\Scripts>activate.bat
    4、利用Phython3.5新建一个虚拟环境
        启用(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
        退出(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
    5、安装 virtualenvwrapper(虚拟环境管理器)
            E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>pip install virtualenvwrapper
        1、配置系统变量 WORKON_HOME=E:\Evns
        2、C:\Users\lenovo>pip install virtualenvwrapper-win
        3、C:\Users\lenovo>workon
            显示E:\Evns下的虚拟环境（一个文件夹）
    6、快速创建虚拟环境
        C:\Users\lenovo>mkvirtualenv py2scrapy
        退出输入deactivate
        进入输入workon py2scrapy
    7、安装request sccrapy
        缺包参考:www.lfd.uci.edu/~gohlke/pythonlibs/
        1\pip request
        2\(py2scrapy) G:\python3.5>pip install -i       https://pypi.douban.com/simple scrapy
            我用的是python3.5 32位
    8、创建一个python2.7的版本
            mkvirtualenv --python=路径+python.exe
            这样就可以在workon目录下建立不同python版本的虚拟环境