20150312 scrapy学习

scrapy crawl  爬虫名 --set LOG_FILE=log

生成的log文件可以用文本编辑器打开，其中是爬虫的过程信息，.json文件也可用文本编辑器打开，里面是爬取的数据。

scrapy学习网站：

1. http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/overview.html    scrapy官方文档

2. http://blog.csdn.net/u012150179/article/details/32343635                   一个小教程，四篇，入门不错

3. http://www.newbie0086.com/category/scrapy/                                          挺多注释

4. http://www.mylonly.com/myself/1754.html                                                 上手例子，SmglLinkExtractor的注释

5. http://www.ituring.com.cn/article/114408                                                    爬取豆瓣

6. http://my.oschina.net/dragonblog/blog/173732                                        mongodb的例子