AZURE060606的博客

Restful API的接口架构风格中制定了一些规范，

【代码】布隆过滤器(Scrapy中间件)

当spider处理完响应后被调用，主要用于对结果的二次处理(request、item)response响应返回spider时经过的中间件，可以对响应进行预处理或检查。在这行代码中，使用了Python的字符串格式化来构造日志信息，其中。该方法必须返回可迭代的Request对象，不能是item对象。会在创建爬虫实例时被调用，用于初始化中间件实例。在爬虫启动时被调用，用于对初始化请求进行处理。抛出异常时执行，一般用于对异常结果进行处理。该方法在爬虫被打开时调用，一般用于记录日志。该方法一般在爬虫或者。

*需求：**在爬取完当页信息后继续下一页爬取示例下载站：目标 ：获取每个app下的应用名称(仅示范，想要其他内容可以自行爬取)

在Scrapy中原有的解析语法与原来的有点略微的区别。

存储数据的三个关键步骤。

scrapy创建时会自动创建默认的item类，这里一般用于处理数据和持久化存储，例如将数据处理后存入数据库，也可以根据需求自行创建，但是创建新的item类时需要去settings中注册。这是创建scrapy项目后默认创建的管道类，也可以自行新建别的管道，这里一般就会用来接受spider传过来的数据并对其进行**[打包]**创建目录后spiders里是空的，这时候就需要我们创建第一个爬虫文件。成功，内容和正常输出相同，只是字体红色。此时第一个爬虫文件就已创建成功了。在主目录下创建启动文件。

•在spiders文件中创建新的爬虫文件•。