学python,操作数据库是必不可少的,不光要会写python代码,还要会写SQL语句,本篇文章主要讲如何把本地txt文件中的数据读取出来并写入到对应的数据库中,同时将数据库单个表中的数据读出来保存在本地txt文件中。
话不多说,我们开始吧!
读取文件数据写入到数据库
读取文件数据并封装
有两个txt文件,一个是普通文本格式,一个是json格式,部分数据截图见本篇文章的最后附录部分。一个是2011年的1月份销售数据,一个是2011年的2月份销售数据,我们需要分别读出这两个文件的数据并写入同一个表中。
1月份数据是普通文本,使用逗号分割数据记录,从前到后分别是(日期,订单id,销售额,销售省份);
2月份数据是JSON数据,同样包含 (日期,订单id,销售额,销售省份)
根据面向对象的思想,我们可以设计一个FileReader类,进行数据的读取,我们读取到的数据也可以封装到一个类里面,叫做数据封装类,也就是每一条数据都可以得到一个具体的类对象;
(1)数据定义的类
设计一个类,完成数据封装,新建一个python文件,名为:data_define.py,根据数据的分析,成员变量包含 date, order_id, money, province
-
# 数据定义的类
-
class Record:
-
def __init__(self, date, order_id, money, province):
-
self.date = date # 订单日期
-
self.order_id = order_id # 订单ID
-
self.money = money # 订单金额
-
self.province = province # 销售省份
-
def __str__(self):
-
return f"{self.date}, {self.order_id}, {self.money}, {self.province}"
(2)定义文件相关的类
设计一个抽象类,定义文件读取的相关功能,并使用子类实现具体功能,因为文件的数据格式不同,我们读取文件的具体实现逻辑也不一样,所以定义一个抽象类,通过子类去实现具体数据的具体读取方法。
新建一个python文件,名为:file_define.py,先定义一个抽象类FileRecord用来做顶层设计,确定有哪些功能(read_data方法)需要实现,并分别定义TextFileRecord类和JsonFileRecord类,继承FileRecord类,复写父类的read_data方法,
具体代码如下:
-
from data_define import Record
-
import json
-
# 先定义一个抽象类用来做顶层设计,确定有哪些功能需要实现
-
class FileRecord:
-
def read_data(self) -> list[Record]:
-
# 读取文件的数据,读到的每一条数据都转换为Record对象,将他们都封装到List内并返回即可
-
pass
-
class TextFileRecord(FileRecord):
-
def __init__(self, path):
-
self.path = path # 定义成员变量记录文件路径
-
# 复写(实现抽象方法)父类的方法
-
def read_data(self) -> list[Record]:
-
f = open(self.path, "r", encoding="UTF-8")
-
record_list: list[Record] = []
-
for line in f.readlines():
-
line = line.strip() # 消除读取到的每一行数据中的\n
-
data_list = line.split(",")
-
record = Record(data_list[0], data_list[1], int(data_list[2]), data_list[3])
-
record_list.append(record)
-
# print(record_list)
-
f.close()
-
return record_list
-
class JsonFileRecord(FileRecord):
-
def __init__(self, path):
-
self.path = path # 定义成员变量记录文件路径
-
# 复写(实现抽象方法)父类的方法
-
def read_data(self) -> list[Record]:
-
f = open(self.path, "r", encoding="UTF-8")
-
record_list: list[Record] = []
-
for line in f.readlines():
-
data_dict = json.loads(line)
-
record = Record(data_dict["date"], data_dict["order_id"], data_dict["money"], data_dict["province"])
-
record_list.append(record)
-
# print(record_list)
-
f.close()
-
return record_list
-
if __name__ == '__main__':
-
# 测试读取文本文件
-
text_file_record = TextFileRecord("G:\资料\2011年1月销售数据.txt")
-
lin1 = text_file_record.read_data()
-
for l1 in lin1:
-
print(l1)
-
# 测试读取json文件
-
json_file_record = JsonFileRecord("G:\资料\2011年2月销售数据JSON.txt")
-
lin2 = json_file_record.read_data()
-
for l2 in lin2:
-
print(l2)
运行结果:
(3)合并数据
新建一个python文件main.py,读取数据并将1月份数据和2月份数据合并
-
from file_define import FileRecord, TextFileRecord, JsonFileRecord
-
from data_define import Record
-
text_file_record = TextFileRecord("G:\资料\2011年1月销售数据.txt")
-
json_file_record = JsonFileRecord("G:\资料\2011年2月销售数据JSON.txt")
-
jan_data: list[Record] = text_file_record.read_data() # 读取1月份数据并保存到jan_data
-
feb_data: list[Record] = json_file_record.read_data() # 读取2月份数据并保存到feb_data
-
all_data: list[Record] = jan_data + feb_data # 合并两个月份的数据
-
# print(all_data)
合并数据之后的结果:
构建数据库链接并写入数据库
我们首先需要导包:from pymysql import Connection
,我在代码中分别创建了sell数据库和orders表,其实可以直接通过数据库可视化工具创建,创建完成后直接执行insert插入语句即可,参考代码如下:
-
# 构建数据库链接
-
conn = Connection(
-
host="localhost",
-
port=3306,
-
user="root",
-
password="123456",
-
autocommit=True # 执行sql语句时自动提交
-
)
-
# 构建游标对象
-
cur = conn.cursor()
-
cur.execute("SHOW DATABASES")
-
database_list = []
-
for db in cur:
-
database_list.append(db[0])
-
print(database_list) # 打印出当前所有数据库
-
if "sell" in database_list: # 如果数据库存在则不创建,如果不存在则创建数据库sell
-
pass
-
else:
-
creat_data_base = "CREATE DATABASE sell"
-
cur.execute(creat_data_base)
-
conn.select_db("sell")
-
cur.execute("SHOW TABLES")
-
tab_list = []
-
for tab in cur:
-
tab_list.append(tab[0])
-
print(tab_list) # 打印当前库中的所有表
-
if "orders" in tab_list: # 如果表存在则不创建,如果不存在则创建表orders
-
pass
-
else:
-
cur.execute("CREATE TABLE orders(order_date DATE,order_id VARCHAR(255),money INT,province VARCHAR(10))")
-
# 遍历所有数据,并执行插入语句
-
for record in all_data:
-
sql = f"INSERT INTO sell.orders(order_date,order_id,money,province) VALUES ('{record.date}','{record.order_id}',{record.money},'{record.province}')"
-
print(sql)
-
cur.execute(sql)
-
# 关闭数据库链接
-
cur.close()
运行代码成功之后,可在数据库中看到,数据已经正常写入orders表中:
从数据库读取数据并保存到本地
相对写入数据来说,读取数据保存到本地更加简单,先从数据库读取数据,然后处理数据,之后保存到本地文件即可。
(1)保存为txt文件
代码如下:
-
from pymysql import Connection
-
from data_define import Record
-
# 构建数据库链接
-
conn = Connection(
-
host="localhost",
-
port=3306,
-
user="root",
-
password="123456",
-
autocommit=True # 执行sql语句时自动提交
-
)
-
# 构建游标对象
-
cur = conn.cursor()
-
cur.execute("select * from sell.orders") # 读取orders表中的所有数据
-
record_list = []
-
for data in cur:
-
record = Record(data[0], data[1], data[2], data[3])
-
record_list.append(record) # 将读取的每一数据封装成一个Record对象并添加到record_list列表中
-
f = open("E:\sell_orders_data.txt", 'w') # 文件存在,则直接覆盖文件中的内容写入,不存在,先创建文件再写入数据
-
for sell_data in record_list:
-
# 只能写入str类型的,则把读取的Record对象转化为str,每个字段用","分割
-
str_data = str(sell_data.date) + "," + sell_data.order_id + "," + str(sell_data.money) + "," + sell_data.province
-
f.write(str_data)
-
f.write("\n")
-
f.close()
查看保存的txt文件:
(2)保存为excel文件
代码如下:
-
import xlwt
-
# 写入到excel文件中
-
# 调用xlwt模块中的Workbook方法来创建一个excel表格类型文件,style_compression设置是否压缩,赋值为0表示不压缩。
-
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
-
# 用book对象调用add_sheet方法来建立一张sheet表,这里面的第一个参数很明显就是设置sheet表格的名称,第二个参数cell_overwrite_ok用于确认同一个cell单元是否可以重设值,这里赋值为True就表示可重设值。
-
sheet = book.add_sheet('销售数据表', cell_overwrite_ok=True)
-
# 用一个元组col自定义列的数量以及各列的属性名
-
col = ('销售日期', '订单ID', '销售额', '省份')
-
# 写入表头
-
for i in range(0, 4):
-
sheet.col(i).width = 5000 # 设置宽度
-
sheet.write(0, i, col[i])
-
datastyle = xlwt.XFStyle() # 创建一个样式对象,初始化样式
-
datastyle.num_format_str = 'yyyy-mm-dd' # 设置日期格式
-
# 循环record_list数据并写入
-
for row in range(1, len(record_list) + 1):
-
sheet.write(row, 0, record_list[row - 1].date, datastyle) # 如果不加datastyle,写出来的日期列格式是不对的
-
sheet.write(row, 1, record_list[row - 1].order_id)
-
sheet.write(row, 2, record_list[row - 1].money)
-
sheet.write(row, 3, record_list[row - 1].province)
-
book.save('E:\订单销售额.xls')
-
f.close()
查看保存的excel文件:
附录