python处理SQLite数据库

1.前言

数据库非常重要，程序的数据增删改查需要数据库支持。python处理数据库非常简单。而且不同类型的数据库处理逻辑方式大同小异。本文以sqlite数据库为例，介绍一下python操作数据库的方法。

python sqlite3 官方文档

 注：Python操作mysqlite可以参照python&mysql基本使用

2.安装

pip3 install pysqlite3

3.数据库连接、关闭等

import sqlite3
 
 
# 连接数据库(如果不存在则创建)
conn = sqlite3.connect('test.db')
print("Opened database successfully")
 
# 创建游标
cursor = conn.cursor()

# 关闭游标
cursor.close()
# 提交事物
conn.commit()
# 关闭连接
conn.close()

4.表操作

（1）创建数据表

import sqlite3

conn = sqlite3.connect('test.db')
print ("数据库打开成功")
c = conn.cursor()
c.execute('''CREATE TABLE COMPANY
       (ID INT PRIMARY KEY     NOT NULL,
       NAME           TEXT    NOT NULL,
       AGE            INT     NOT NULL,
       ADDRESS        CHAR(50),
       SALARY         REAL);''')
print ("数据表创建成功")
conn.commit()
conn.close()

（2）显示数据表数目

sql="select name from sqlite_master where type='table' order by name"
tables=cursor.execute(sql).fetchall()
print(len(tables))

 需要注意的是tables的每一项数据是一个元祖，如果要想得到数据表的名称要进一步处理

（3）删除数据表

sql="DROP TABLE database_name.table_name"
cursor.execute(sql)

（4）显示数据表的所有字段

sql="PRAGMA table_info(表名字)"
cursor.execute(sql)

注：使用cursor.description也能显示字段，不过cursor要先执行以下对数据表的操作，还是使用PRAGMA比较方便。

5.Cusor的方法

fetchone()
获取查询结果集的下一行

fetchmany(size=cursor.arraysize)
获取查询结果的下一组行，返回一个列表。

fetchall()
获取查询结果的所有（剩余）行，返回一个列表。请注意，游标的 arraysize 属性会影响此操作的性能。当没有行可用时返回一个空列表。

注：fetchall()用来统计表记录时，在开头用一次，再用则查询为空。
尽量不要用这个方法，数据多的情况很慢。查询用迭代方法，请看下一节的“查”操作。
如果你想统计有多少行信息，也不要用这个方法，请看

.description显示字段信息，返回列表。

6.SQL操作

（1）增

...
# 创建游标
cursor = conn.cursor()
 
# 插入数据
sql = "INSERT INTO Student(Name, Age) VALUES(\'love\', 22)"
cursor.execute(sql)
 
# 插入数据 2
data = ('love2', 2221) # or ['love2', 2221]
sql = "INSERT INTO Student(Name, Age) VALUES(?, ?)"
cursor.execute(sql, data)
 
# 提交事物
conn.commit()
...

（2）删

sql语句换一下即可，看下一节的SQL语句。

（3）该

sql语句换一下即可，看下一节的SQL语句。

（4）查

...
# 创建游标
cursor = conn.cursor()
 
# 查询数据
sql = "select * from Student"
values = cursor.execute(sql)
for i in values:
    print(i)
 
# 查询数据 2
sql = "select * from Student where id=?"
values = cursor.execute(sql, (1,))
for i in values: # 注意i是元组
    print('id:', i[0])
    print('name:', i[1])
    print('age:', i[2])
 
# 提交事物
conn.commit()
...

7.SQL常用语句

# 增   两种方法
sql1="INSERT INTO table_name VALUES (value1,value2,value3,...);"
sql2='''INSERT INTO table_name 
	(column1,column2,column3,...) 
	VALUES (value1,value2,value3,...);'''
# 删
sql="DELETE FROM table_name WHERE [condition];"
# 改
sql="UPDATE table_name SET column1 = value1, column2 = value2...., columnN = valueN WHERE [condition];"
# 查
sql="SELECT * FROM table_name;"

# 重命名
sql="ALTER TABLE 老表名 RENAME TO 新表名;"
# 添加字段
sql="ALTER TABLE 表名 ADD COLUMN 新列 TEXT;"

# 查看所有字段名
sql="PRAGMA table_info([表名])"

# 统计数量
sql="SELECT count(*) FROM 表名"

8.查询有多少数据

不要使用cursor的fetchall()，使用数据库查询语句`SELECT count(*) FROM 表名`

def data_count(table_name):
	return_data={}
	conn = connectSqlite("/data.db")
    cursor = conn.cursor()
    drills = cursor.execute("SELECT count(*) FROM {};".format(table_name))
  	count=drills.fetchone() # 因为count函数查询的结果百分百只有一个，用fetchone()函数就可以了。不用迭代查询了。
    return_data["data"] = count[0]  # 注意返回的count是元组。
    cursor.close()
    conn.close()
    return return_data

9.row_factory高级操作

这是对row_factory的官方解释(官方解释直接忽略就好，看我下面的解释）：A Row instance serves as a highly optimized row_factory for Connection objects. It tries to mimic a tuple in most of its features.
It supports mapping access by column name and index, iteration, representation, equality testing and len().
If two Row objects have exactly the same columns and their members are equal, they compare equal.

基础Cursor对象只能通过数字索引来获取值，但是我想通过列名来获取值是做不到的。虽然可以使用Cursor.description来获取字段名称，但是自己做映射写代码很麻烦。
本着简约代码（懒）的原则，python推出了Cursor.Row对象。其实就是列名和值做了个映射，可以通过字符索引来获取值。很方便。
升级过程也简单，就加一句话：conn.row_factory = sqlite3.Row
看例子：

（1）使用

import sqlite3 
conn=connectSqlite("myDB.db")
conn.row_factory = sqlite3.Row # 这句一定要加
cursor=conn.cursor()
rows=cursor.execute("SELECT * from myTable ")

row=rows.fetchone()
row.key() # 返回所有字段名，
print(row[0]) # 输出第一个字段
print(row["field1"]) # 输出字段名为field1的值

（2）循环输出所有值

# ...上接上面的第一块内容
s=0
for row in rows:# 迭代就不用fetchone()了
	s+=1
	print("打印第{}个数据".format(s))
	for r in row:
		print(r)

10.实例

从sqlite数据库中返回json格式数据

'''
description: 根据输入条件，从sqlite数据库中返回JSON数据 
param {*} db_name:str 数据库名称
param {*} fields:list 筛选的字段
param {*} table_name:str 要查询的表名
param {*} condition:str 查询的条件，注意条件的值是字符串的话需要转义
return {*} json
author: https://blog.csdn.net/Crayonxin2000
'''
def returnJsonFromSqlite(db_name,fields,table_name,condition):
    data = {}
    rows = []  # 数据
    conn = connectSqlite(db_name)
    conn.row_factory = sqlite3.Row
    cursor = conn.cursor()
    fields_str = ",".join(fields)  # 列表转字段，fields为所有的字段
    if condition=="" or condition==None:
        sql="SELECT {} from {} ".format(fields_str,table_name)
    else:
        sql="SELECT {} from {} WHERE {}".format(fields_str,table_name,condition)
    print(sql)
    result=cursor.execute(sql)
    for item in result:
        row = []
        for field in fields:
            row.append(item[field])
        rows.append(row)
    data["header"] = fields
    data["rows"] = rows
    # 关闭数据库
    cursor.close()
    conn.close()
    return jsonify(data) 

注：data是字典，我用flask的jsonify工具JSON化了，你可以使用其他工具。