有段时间没有学习Scrapy了,工作很紧所以时间大部分都投入到了android的学习上了。
今天有点时间继续学习Scrapy,接上一篇scrapy学习--Spiders继续学习内置Spiders。
1.XMLFeedSpider
XMLFeedSpider被设计用于通过迭代各个节点来分析XML源(XML feed)。迭代器可以从iternodes、xml、html选择。
鉴于xml和html迭代器需要先读取所有的DOM再进行分析而引起的性能问题,一般推荐使用iternodes。
2.CSVFeedSpider
该spider除了其按行遍历而不是节点之外其他和XMLFeedSpider十分类似。而其在每次迭代时调用的是parse_row()
。
3.SitemapSpider
SitemapSpider使您爬取网站时可以通过 Sitemaps 来发现爬取的URL。
其支持嵌套的sitemap,并能从 robots.txt 中获取sitemap的url。
每种内置Spider都与基本的Spider用法类似,只是针对不同方面的问题进行了封装,在使用的时候直接继承就可以使用。
具体的详情参考官网相关手册http://doc.scrapy.org/en/latest/topics/spiders.html