写个图片爬虫，scrapy，python第一次接触（停止更新）

1、安装python，装2.7就好了，因为scrapy里面要求的一些支撑包没有3.3版本的。有windows的安装包，无压力

2、安装scrapy，看官网的安装指导，装一大堆，都快想吐了

3、照着入门教程做一个简单的，顺便看看scrapy 的架构图，了解XPath选择器

这些都说的挺略，时间有点长，记不得细节，也没有多少难度

4、我的第一个抓爬目标是mmonly，静态的而且没有js，最终目标是爬新浪微博的图而且不用api，所以接触了image pipeline，里面有个地方特别坑

image pipeline错误： exceptions.KeyError: 'image_urls'    更新时间：2013.08.09

要将分析到的图片链接放到item里面的image_urls里面，这个东东分明是个list，我用append来加入，运行会有错误提示

别人的代码是item['image_urls'] = hxs.select('//*..******').extract()，这样的确可以，而且有了这个赋值之后，在用append加入字符串（url）就可以正确下载了

image pipeline 下载路径    更新时间：2013.08.11

我想将爬下来的图片一组组的分开文件夹放置，但是官网教程的只是在setting.py里面规定路径

打算在自己实现的那个pipeline里面修改一下文件名，下载完成后分类到新建的文件夹里面（这个工作我用C++在windows下写