Scrapy入门的点点滴滴（一）

从刚开始接触Python2.7到使用Scrapy1.3进行爬虫，经历了许多，不懂的各种百度，硬是从不会进步成入门了，抱怨的话不多说，进入正题。

写这篇文章的目的在于总结这段时间学习Scrapy的到的一些经验

环境搭建

1、如果在代码中运行命令scrapy crawl sina2出错（如上图）
   subprocess.CalledProcessError: Command 'scrapy crawl sina2' 
   returned non-zero exit status 1
   有可能是：
    1、先将scrapy crawl sina2命令在cmd窗口中测试，如果报错：
      Fatal error in launcher: Unable to create process using '"'
    请参考下方第二点
    2、scrapy没有装好

2、如果命令行出错
   Fatal error in launcher: Unable to create process using '"'
   有可能是：
    1、python没有安装在c盘的原因，经测试我将python27放到除c盘以外都不行
    2、安装路径不要有 空格中文之类的字符

3、pip被墙，修改国内源方法，可以增加速度（好久没去测试，不懂还可以用不）
    1、linux或者是Mac的 pip源：
       1、找到vi ~/.pip/pip.conf
       2、修改
       [global]
       index-url = https://pypi.tuna.tsinghua.edu.cn/simple
    2、window的 pip源：
       1、找到C:\Users\Administrator
       2、新建pip文件夹，新建pip.ini文件 填写以下内容
       [global]
       index-url = https://pypi.tuna.tsinghua.edu.cn/simple

4、安装Scrapy过程中出错：
    ERROR: ‘xslt-config’ 不是内部或外部命令，也不是可运行的程序 或批处理文件。
    1、在http://pypi.python.org/simple/lxml/下载win10 x64（看系统情况）
       的lxml-2.2.8.win-amd64-py2.7.exe
    2、然后重新打开cmd去pip install Scrapy 解决了此xml的问题了   

5、运行代码报错：
   ImportError: No module named win32api
   解决：
   1、pip install pypiwin32

从一台电脑快速复制环境到另以台电脑（window）

当你在一台电脑上配置相当完全的python开发环境之后，想要换一台同类型的电脑继续工作，一想到要从新安装各类的三方库，是不是很累，我这里有几点小建议

1、首先明确需要的安装的基本东西：
    1、jdk（python需要）
    2、PythonChram（开发工具）
    3、Python27（python基础）

2、jdk：
    1、到已安装电脑的安装目录复制jdk文件夹
    2、拷贝到新电脑你想要存放的目录（注意目录不要有中文、特殊字符等）
    3、配置jdk环境变量，路径指向你存放的目录（自行百度）
    说明：jdk安装完的文件夹，可以直接拷贝应用，无需从网络上下载然后安装，比较方便

3、PythonChram：
    1、到已安装电脑的安装目录复制PythonChram文件夹
    2、拷贝到新电脑你想要存放的目录（注意目录不要有中文、特殊字符等）
    3、同时：也可以打开软件，将设置项导出，拷贝到新电脑的软件上使用，可以省去设置软件
    外观的麻烦事，但是可能有些基础的配置项就需要重新配置如：
       1、python解释器的位置
       2、git的路径

4、Python27：
    1、到已安装电脑的安装目录复制Python27文件夹
    2、拷贝到新电脑的C盘根目录（特别注意：放到除C盘之外的目录可能会出现问题，请自测）
    3、配置环境变量（指向存放的c盘目录）
    说明：Python27安装完的文件夹，可以直接拷贝应用，无需从网络上下载然后安装，比较
         方便，而且里面已经包含了需要的三方库，可以省掉用pip安装的麻烦事情