带请求头使用shell:scrapy shell -s USER_AGENT="content" url
输出信息:使用self.log()函数
ItemLoader的使用:ItemLoader在每个字段都包含了一个输入处理器和一个输出处理器, 输入处理器收到数据时立刻提取数据 (通过 add_xpath()
, add_css()
或者 add_value()
方法) 之后输入处理器的结果被收集起来并且保存在ItemLoader内. 收集到所有的数据后, 调用 ItemLoader.load_item()
方法来填充,并得到填充后的 Item
对象. 这是当输出处理器被和之前收集到的数据(和用输入处理器处理的)被调用.输出处理器的结果是被分配到Item的最终值。
xpath,contract,处理器,self.settings,check,
看一下Request