Scrapy的一些注意事项

Scrapy的一些注意事项

1、response 一个’scrapy.http.response.html.HtmlResponse’对象。可以执行’xpath’和’css’语法来提取数据。
2、提取出来的数据，是一个’Selector’或者’SelectorList’对象。如果想要获取其中的字符串，那么应该执行’getall’或者’get’方法。
3、getall方法：获取’Selector’中的所有文本。返回的是一个列表。
4、get方法：获取的是’Selector’的第一个文本。返回的是一个str类型。
5、如果数据解析出来，要传给pipeline处理，那么可以使用’yield’来返回。或者是收集所有的item,最后统一使用return统一返回。
6、建议在’item.py’中定义好模型，就不需要使用字典存储了。
7、pipeline:这是专门用来保存数据的。其中有三个方法会经常用。
*‘open_spider(self,spider)’：爬虫开始时执行。
*‘process_item(self,item,spider)’:当爬虫有item传过来时会被调用。
*‘close_spider(self,spider)’:当爬虫关闭的时候会被调用。
要激活pipline，应该在’settings.py’中，设置’ITEM_PIPELINES’。如下：

ITEM_PIPELINES = {
    'first.pipelines.FirstPipeline': 300,
}