爬虫之crawlers

爬虫源码：

https://github.com/dwx953571268/crawlers/tree/master/crawl3/crawl3

看了一篇微信推文，心血来潮，作为一名大男子，血气方刚！是时候来一波，声明一下：我不是司机哦
http://mp.weixin.qq.com/s?__biz=MzA3NTEzMTUwNA==&mid=2651081164&idx=1&sn=a5fffffbc10195ece7d74b14827e1577&scene=0#wechat_redirect


1.git下载crawlers
https://github.com/dwx953571268/crawlers/tree/master/crawl3/crawl3/spiders


想用rosi.py这个，报错：未 import scrapy


2.windows下搭建爬虫框架scrapy
参考
*a*  http://blog.csdn.net/playstudy/article/details/17296473
*b*  http://www.tuicool.com/articles/ayyUver(主线)
*c*  http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html（注意这里的easy*是32位的，必须按照上面的a走）


  1）easy_install
参考：http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html
http://blog.csdn.net/dreamzml/article/details/8847879


  在Python27 文件夹下面生成Scripts，里面有easy_install.exe 
  2）安装lxml

……

2


按照方法安装后，报错没有PIL模块！
用pillow代替http://www.programgo.com/article/33435442222/
先安装好pip(eazy_install.exe pip)
然后eazy_install pillow


3.scrapy crawl rosi 成功了，保存在d:/data/rosi文件夹，不是自己设定的