1、安装python,装2.7就好了,因为scrapy里面要求的一些支撑包没有3.3版本的。有windows的安装包,无压力
2、安装scrapy,看官网的安装指导,装一大堆,都快想吐了
3、照着入门教程做一个简单的,顺便看看scrapy 的架构图,了解XPath选择器
这些都说的挺略,时间有点长,记不得细节,也没有多少难度
4、我的第一个抓爬目标是mmonly,静态的而且没有js,最终目标是爬新浪微博的图而且不用api,所以接触了image pipeline,里面有个地方特别坑
image pipeline错误: exceptions.KeyError: 'image_urls' 更新时间:2013.08.09
要将分析到的图片链接放到item里面的image_urls里面,这个东东分明是个list,我用append来加入,运行会有错误提示
别人的代码是item['image_urls'] = hxs.select('//*..******').extract(),这样的确可以,而且有了这个赋值之后,在用append加入字符串(url)就可以正确下载了
image pipeline 下载路径 更新时间:2013.08.11
我想将爬下来的图片一组组的分开文件夹放置,但是官网教程的只是在setting.py里面规定路径
打算在自己实现的那个pipeline里面修改一下文件名,下载完成后分类到新建的文件夹里面(这个工作我用C++在windows下写