Python 爬虫基础: 如何将数据存入Mysql数据库

使用爬虫爬数据，总要涉及到数据持久化，也就是数据存储的问题。

我们可以根据具体情况把数据保存在本地 txt 文件里，excel 里，csv 里等等，当然也可以存储在数据库里。

本篇博客主要记录如何通过 Python 连接 MySQL 数据库，并实现 增删改查 操作的。

1. 配置环境

首先需要安装 MySQL 数据库和 pymysql 库。

MyQL 数据库的安装和配置过程略去不讲，自行查阅资料。

pymysql 库是 python 用来操作 MySQL 数据库的一个第三方库，安装命令如下：

pip install pymysql

2. 创建数据库和数据表

在 MySQL 数据库中设置好用户名，密码，端口等，创建好数据库和数据表。

如上示例，是我创建的数据库 TopicDB 和数据表 QuestionsTable 。

3. 连接数据库

将自己的数据库的 IP、端口，用户名、密码 等参数填进去，运行即可完成数据库的连接。

import pymysql

db = pymysql.connect(host='xxx.xxx.xxx.xxx', port=3306, user='smartcrane', passwd='xxxxxx', db='TopicDB', charset='utf8')
cursor = db.cursor()

如果数据库是本地的话，host 可以填 127.0.0.1 或 localhost 。

4. 增删改查

通过 pymysql 库操作数据库，实际上也是通过执行 SQL 语句。也就是说，自行构造 SQL 语句的字符串 sql ，然后通过 cursor.excute(sql) 执行。

具体的 SQL 语法这里略去不讲，请自行搜索学习，此处仅讲解如何通过 Python 操作数据库。

4.1 查询数据

示例代码如下：

def queryDB():
    # 查询数据库
    try:
        sql = "select * from QuestionsTable"
        cursor.execute(sql)
        data = cursor.fetchone()
        print(data)
    except Exception as e:
        print(e)

查询数据时，在执行完 cursor.execute(sql) 操作之后，可以通过 fetchone() 或 fetchall() 或 fetchmany(n) 函数来获取查询结果，三个函数的区别如下。

• 执行 cursor.fetchone() 每次取一条数据。

• 执行 cursor.fetchall() 一次性取全部数据

• 执行 cursor.fetchmany(n) 每次取 n 条数据。

4.2 增删改操作

示例代码如下：

def insertDB(id, title, url):
    #插入数据
    try:
        sql = "insert into QuestionsTable values (%s,'%s','%s')"%(id, title, url)
        cursor.execute(sql)
        db.commit()
    except Exception as e:
        db.rollback()
        print(e)

更新数据，删除数据等操作的写法跟插入数据的写法一样，只要修改对应 sql 语句即可。

如果数据库操作报错了。调试的话，首先把sql 字符串打印出来，复制到 MySQL 数据库中执行看是否有误。

大部分的情况下，都是 SQL 语句有误引起的。

5. 关闭数据库连接

程序运行结束后，需要断开数据库连接。

示例代码如下：

# 关闭光标对象
cursor.close()
# 关闭数据库连接
db.close()