python爬虫---MongoDB保存爬取的数据

python爬虫

scrapy爬虫博客文章，本文章主要是补充爬虫数据的保存。
scrapy爬虫流程可以参考一下博文。
https://blog.csdn.net/suwuzs/article/details/118091474

以下是对pipelines.py文件写入代码

一、对items进行处理

MyspiderPipeline这个类是对爬取的数据进行处理，对于较长的数据进行一个缩略。

import pymongo
from itemadapter import ItemAdapter

class MyspiderPipeline:
    #实例化
    def __init__