python操作数据库pymysql

1.安装pymysql

pip install pymysql

2.连接数据库

import pymysql

db = pymysql.connect("数据库ip","用户","密码","数据库" ) # 打开数据库连接
cursor = db.cursor()     #使用 cursor() 方法创建一个游标对象 cursor
cursor.execute("SELECT VERSION()")                    # 使用 execute() 方法执行 SQL 查询
data = cursor.fetchone()                              # 使用 fetchone() 方法获取单条数据
print ("Database version : %s " % data)
cursor.close()                                       #关闭游标
db.close()                                            # 关闭数据库连接

游标：

连接完数据库，接着就该获取游标，之后才能进行执行、提交等操作
cursor = connection.cursor()
查询时，默认返回的数据类型为元组，可以修改返回类型
几种常用游标类型：
Cursor: 默认，元组类型
DictCursor: 字典类型
SSCursor: 无缓冲元组类型
SSDictCursor: 无缓冲字典类型
无缓冲游标类型，适用于数据量很大，一次性返回太慢，或者服务端带宽较小
创建连接时，通过cursorclass 参数指定类型：

connection = pymysql.connect(host='localhost',
                             user='root',
                             password='root',
                             db='db',
                             charset='utf8',
                             cursorclass=pymysql.cursors.DictCursor)

也可以在创建游标时指定类型：

cursor = connection.cursor(cursor=pymysql.cursors.DictCursor)

游标移动：

注意：当一次查询结束后，再次查询时为空，是因为指针到了最后位，如果想再次查找就需要将指针指向指定的位置。另外，指针的位置与列表一样，首位为0。（第0位为第一条数据）
所有的数据查询操作均基于游标，我们可以通过cursor.scroll(num, mode)控制游标的位置。

#相对绝对位置移动：absolute
#指的是由第一条记录开始的第N个位置
cursor.scroll(2,mode='absolute') #指针指向数据的第2位这条记录。数据的第一条记录为第0位。
#相对当前位置移动: relative
#指的是由当前的记录位置开始的第N个位置
cursor.scroll(3,mode='relative') #指针指向当前数据位置的后数3位的记录。
#查询当前数据库中指针位置：lastrowid
#上次光标位置
print(cursor.lastrowid)

执行sql语句

cursor.execute(sql, args)
这里的参数 args 可以是，tuple，list，dict，另外 execute 还能返回受影响的行数

influence_num = cursor.execute(sql, args)
print(type(influence_num))  # int
cursor.executemany(sql, args) #批量执行

两个close

一般用于最后结束对数据库的操作，可在 finally 中写

关闭数据库连接

connection.close()

关闭游标

cursor.close()

3.创建数据表

import pymysql
 
# 打开数据库连接
db = pymysql.connect("数据库ip","用户","密码","数据库" ) 
 
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
 
# 使用 execute() 方法执行 SQL，如果表存在则删除
cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
 
# 使用预处理语句创建表
sql = """CREATE TABLE EMPLOYEE (
         FIRST_NAME  CHAR(20) NOT NULL,
         LAST_NAME  CHAR(20),
         AGE INT,  
         SEX CHAR(1),
         INCOME FLOAT )"""
 
cursor.execute(sql)
 
# 关闭数据库连接
db.close()

4.插入数据

import pymysql
 
# 打开数据库连接
db = pymysql.connect("数据库ip","用户","密码","数据库" )
 
# 使用cursor()方法获取操作游标 
cursor = db.cursor()
 
# SQL 插入语句
sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
         LAST_NAME, AGE, SEX, INCOME)
         VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""
try:
   # 执行sql语句
   cursor.execute(sql)
   # 提交到数据库执行，连接完数据库并不会自动提交，需要手动 commit 你的改动(涉及写操作注意要提交)
   db.commit()
   # 获取最新的那一条数据的ID
   last_id = cursor.lastrowid
   print("最后一条数据的ID是:", last_id)
except:
   # 如果发生错误则回滚
   db.rollback()
 
# 关闭数据库连接
db.close()

注意：pymysql 中所有的有关更新数据（insert，update，delete）的操作都需要 commit，否则无法将数据提交到数据库
cursor.lastrowid（最后一条ID）：cursor提供一个参数可以获取最新 insert 自增的 id ，也就是最后插入的一条数据ID，如果没有insert过，执行cursor.lastrowid会报错

5.查询数据

Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。

• fetchone(): 该方法获取下一个查询结果集。结果集是一个对象
• fetchall(): 接收全部的返回结果行
• fetchmany(size)：取出一定数量的数据
• rowcount: 这是一个只读属性，并返回执行execute()方法后影响的行数。

import pymysql
 
# 打开数据库连接
db = pymysql.connect("数据库ip","用户","密码","数据库"  )
 
# 使用cursor()方法获取操作游标 
cursor = db.cursor()
# 获取一个光标（2）
#cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)  # 返回字典数据类型
# SQL 查询语句
sql = "SELECT * FROM EMPLOYEE \
       WHERE INCOME > %s" % (1000)
try:
   # 执行SQL语句
   cursor.execute(sql)
   # 获取所有记录列表
   results = cursor.fetchall()
   for row in results:
      fname = row[0]
      lname = row[1]
      age = row[2]
      sex = row[3]
      income = row[4]
       # 打印结果
      print ("fname=%s,lname=%s,age=%s,sex=%s,income=%s" % \
             (fname, lname, age, sex, income ))
except:
   print ("Error: unable to fetch data")
 
# 关闭数据库连接
db.close()

# 可以获取指定数量的数据
cursor.fetchmany(3)
# 光标按绝对位置移动1
cursor.scroll(1, mode="absolute")
# 光标按照相对位置(当前位置)移动1
cursor.scroll(1, mode="relative")

6.更新数据

import pymysql
 
# 打开数据库连接
db = pymysql.connect("数据库ip","用户","密码","数据库" )
 
# 使用cursor()方法获取操作游标 
cursor = db.cursor()
 
# SQL 更新语句
sql = "UPDATE EMPLOYEE SET AGE = AGE + 1 WHERE SEX = '%c'" % ('M')
try:
   # 执行SQL语句
   cursor.execute(sql)
   # 提交到数据库执行
   db.commit()
except:
   # 发生错误时回滚
   db.rollback()
 
# 关闭数据库连接
db.close()

7.删除数据

import pymysql
 
# 打开数据库连接
db = pymysql.connect("数据库ip","用户","密码","数据库" )
 
# 使用cursor()方法获取操作游标 
cursor = db.cursor()
 
# SQL 删除语句
sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)
try:
   # 执行SQL语句
   cursor.execute(sql)
   # 提交修改
   db.commit()
except:
   # 发生错误时回滚
   db.rollback()
 
# 关闭连接
db.close()

8.数据备份

#语法：
# mysqldump -h 服务器 -u用户名 -p密码 数据库名 > 备份文件.sql

#示例：
#单库备份
mysqldump -uroot -p123 db1 > db1.sql
mysqldump -uroot -p123 db1 table1 table2 > db1-table1-table2.sql

#多库备份
mysqldump -uroot -p123 --databases db1 db2 mysql db3 > db1_db2_mysql_db3.sql

#备份所有库
mysqldump -uroot -p123 --all-databases > all.sql 

9.数据恢复

#方法一：
[root@egon backup]# mysql -uroot -p123 < /backup/all.sql

#方法二：
mysql> use db1;
mysql> SET SQL_LOG_BIN=0;   #关闭二进制日志，只对当前session生效
mysql> source /root/db1.sql

10.执行事务

事务机制可以确保数据一致性。

事务应该具有4个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为ACID特性。

• 原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。
• 一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
• 隔离性（isolation）。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。
• 持久性（durability）。持续性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。
  Python DB API 2.0 的事务提供了两个方法 commit 或 rollback

# SQL删除记录语句
sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)
try:
   # 执行SQL语句
   cursor.execute(sql)
   # 向数据库提交
   db.commit()
except:
   # 发生错误时回滚
   db.rollback()

对于支持事务的数据库， 在Python数据库编程中，当游标建立之时，就自动开始了一个隐形的数据库事务。

commit()方法游标的所有更新操作，rollback（）方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。

11.错误处理

DB API中定义了一些数据库操作的错误及异常，下表列出了这些错误和异常

异常	描述
Warning	当有严重警告时触发，例如插入数据是被截断等等。必须是 StandardError 的子类。
Error	警告以外所有其他错误类。必须是 StandardError 的子类。
InterfaceError	当有数据库接口模块本身的错误（而不是数据库的错误）发生时触发。 必须是Error的子类。
DatabaseError	和数据库有关的错误发生时触发。 必须是Error的子类。
DataError	当有数据处理时的错误发生时触发，例如：除零错误，数据超范围等等。 必须是DatabaseError的子类。
OperationalError	指非用户控制的，而是操作数据库时发生的错误。例如：连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是DatabaseError的子类。
IntegrityError	完整性相关的错误，例如外键检查失败等。必须是DatabaseError子类。
InternalError	数据库的内部错误，例如游标（cursor）失效了、事务同步失败等等。 必须是DatabaseError子类。
ProgrammingError	程序错误，例如数据表（table）没找到或已存在、SQL语句语法错误、 参数数量错误等等。必须是DatabaseError的子类。
NotSupportedError	不支持错误，指使用了数据库不支持的函数或API等。例如在连接对象上 使用.rollback()函数，然而数据库并不支持事务或者事务已关闭。 必须是DatabaseError的子类。

12.还有防止 sql 注入

通过操作输入来修改后台SQL语句

#正常构造语句的情况
sql="select user,pass from tb7 where user='%s' and pass='%s'" % (user,passwd)
row_count=cursor.execute(sql)
#拼接语句被构造成下面这样，永真条件，此时就注入成功了。
select user,pass from tb7 where user='u1' or '1'-- ' and pass='u1pass'

要避免这种情况可以使用 pymysql 提供的参数化查询

#避免注入，使用pymysql提供的参数化语句
user="u1' or '1'-- "
passwd="u1pass"
#执行参数化查询
row_count=cursor.execute("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))

# 内部执行参数化生成的SQL语句，对特殊字符进行了加\转义，避免注入语句生成。
sql=cursor.mogrify("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
print(sql)
# 被转义的语句
select user,pass from tb7 where user='u1\' or \'1\'-- ' and pass='u1pass'