spider 将数据存入到mogodb mysql redis

最新推荐文章于 2022-05-23 11:42:24 发布

小赖同学啊

最新推荐文章于 2022-05-23 11:42:24 发布

阅读量190

点赞数

分类专栏： python 文章标签： spider 储存数据爬虫

本文链接：https://blog.csdn.net/testManger/article/details/109995032

版权

python 专栏收录该内容

131 篇文章 0 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

本文介绍了如何使用spider将爬取的数据存储到不同的数据库。首先安装Redis, MongoDB, MySQL的客户端并配置环境。接着在spider项目settings中设定属性，然后在pipelines中编写存储数据的管道，并在settings中注册这些管道。最终，成功将数据存储到MySQL, MongoDB和Redis中。" 129093549,8653458,Python异常处理与模块包管理,"['Python', '开发语言', '异常处理', '模块', '包管理']

摘要由CSDN通过智能技术生成

1.首先将redis mogodb mysql 的客户端进行安装，(环境如果需要就请自行配置)

2.创建spider 项目在settings中设置相应的属性(可以随机应变)

#将数据存储在mysql中的配置
MYSQL_HOST = '192.168.1.123'
MYSQL_DBNAME = 'spiderData'
MYSQL_USER = 'root'
MYSQL_PASSWD = '123456'
MYSQL_PROT = 3306
MYSQL_charset = 'utf8'
MYSQL_use_unicode = True

#mogodb
Mogodb_url='mongodb://localhost:27017'
Mogodb_DB='mogSpiderdb'
MONGO_COLL ='mogSpiderdb'
#redis
Redis_host='127.0.0.1'
Redis_indenx_DB=0

3.在pipelines中编写对应的管道

将爬取出来的数据 存入到mysql中--创建对应的存入数据的表
class SpiderdemoPipeline:
    def __init__(self):
        self.connectdb=pymysql.Connect(host=settings.MYSQL_HOST,port=settings.MYSQL_PROT