Scrapy框架学习笔记(2)

scrapy.Request

需要在另一个链接中进行提取数据时，把item给传递下去。一般设置下一个链接，处理函数指定和要传递的item。

yield scrapy.Request(
                item["href"],
                callback=self.parse_detail,
                meta={"item": item}
            )

由于scrapy是异步爬取的，在爬取数据时，有时item某一个键接收到的值一直是重复的，可以在传递时再meta上使用deepcopy方法。

LOG配置

在setting中定义一个LOG_LEVEL设置日志的等级，定义一个LOG_FILE设置日志存放的目录，设置位WARNING后比它级别低的就不会输出。

在爬虫当中引入 logging模块，在相应需要输出的地方设置一下logging.waring(‘a’)，在出现警告时，打印出内容a。

logger = logging.getLogger(__name__)

实例化一个logger，在后续中可以用logger来进行设置，给他一个__name__可以输出是在哪个文件。