爬虫笔记190128

什么是管道？

管道也就是item管道，是负责处理spider从网页上爬取过来的item，并进行清洗、验证、存储数据
换句话说，管道更像是一个筛子，筛选出我所需要的数据

案例

接着上次的说吧，我们进行一些修改，如下


修改完后我们需要去处理一下管道文件，因为我们需要通过修改管道文件来筛选数据，也就是明确怎样筛选数据（管道文件也就是在项目下的爬虫里面的pipeline.py文件，修改如下

另外，我们还需要在设置文件中将管道开放出来，Emmmm，也就是去控制下闸门吧，决定item怎么样经过管道（是经过一条管道呢，还是几条，哪一条优先等等）

补充一些东西吧

爬虫的架构：https://www.jianshu.com/p/de6044d20f4a
关于管道更详细的案例：https://blog.csdn.net/kissazhu/article/details/80865507
---------------------------------------------------------------------------------End