scrapy爬取数据保存到mysql数据库

本文介绍了如何使用Scrapy爬取的数据保存到MySQL数据库中,包括在settings中定义数据库连接属性,创建DBContrl文件夹及MySQLHelper文件进行数据操作,以及在Scrapy管道中实现数据插入。
摘要由CSDN通过智能技术生成

之前一篇文章,写了scrapy入门博客。至于数据库建表也不再赘述。接下来介绍如何将数据进行mysql入库。

其实很简单,数据源都拿到了,入库就是信手拈来,着重介绍利用pymysql连接mysql数据库以及封装。

1.首先在settings里定义数据库连接属性:

地址:host、端口号:port、数据库名:dbname、用户名:user、密码:password

配置如下(根据自己的数据库实际修改):

#mysql数据库连接属性
MYSQL_HOST="xxx.xxx.xxx.xxx"
MYSQL_PORT=3306
MYSQL_DB="xxx"
MYSQL_USER="xxx"
MYSQL_PASSWD="xxx"

2.在项目目录下创建文件夹DBContrl,编写py文件MySQLHelper:

以下是MySQLHelper内容,代码块里每一步都有详细介绍。

# -*- code:utf-8 -*-

#导入pymys
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值