之前一篇文章,写了scrapy入门博客。至于数据库建表也不再赘述。接下来介绍如何将数据进行mysql入库。
其实很简单,数据源都拿到了,入库就是信手拈来,着重介绍利用pymysql连接mysql数据库以及封装。
1.首先在settings里定义数据库连接属性:
地址:host、端口号:port、数据库名:dbname、用户名:user、密码:password
配置如下(根据自己的数据库实际修改):
#mysql数据库连接属性
MYSQL_HOST="xxx.xxx.xxx.xxx"
MYSQL_PORT=3306
MYSQL_DB="xxx"
MYSQL_USER="xxx"
MYSQL_PASSWD="xxx"
2.在项目目录下创建文件夹DBContrl,编写py文件MySQLHelper:
以下是MySQLHelper内容,代码块里每一步都有详细介绍。
# -*- code:utf-8 -*-
#导入pymys