Python读取文件数据写入到数据库中，并反向从数据库读取保存到本地

学python，操作数据库是必不可少的，不光要会写python代码，还要会写SQL语句，本篇文章主要讲如何把本地txt文件中的数据读取出来并写入到对应的数据库中，同时将数据库单个表中的数据读出来保存在本地txt文件中。

话不多说，我们开始吧！

读取文件数据写入到数据库

读取文件数据并封装

有两个txt文件，一个是普通文本格式，一个是json格式，部分数据截图见本篇文章的最后附录部分。一个是2011年的1月份销售数据，一个是2011年的2月份销售数据，我们需要分别读出这两个文件的数据并写入同一个表中。

1月份数据是普通文本，使用逗号分割数据记录，从前到后分别是(日期，订单id，销售额，销售省份)；

2月份数据是JSON数据，同样包含 (日期，订单id，销售额，销售省份)

根据面向对象的思想，我们可以设计一个FileReader类，进行数据的读取，我们读取到的数据也可以封装到一个类里面，叫做数据封装类，也就是每一条数据都可以得到一个具体的类对象；

（1）数据定义的类

设计一个类，完成数据封装，新建一个python文件，名为：data_define.py，根据数据的分析，成员变量包含 date, order_id, money, province

2. # 数据定义的类

4. class Record:

6. def __init__(self, date, order_id, money, province):

8. self.date = date # 订单日期

10. self.order_id = order_id # 订单ID

12. self.money = money # 订单金额

14. self.province = province # 销售省份

17. def __str__(self):

19. return f"{self.date}, {self.order_id}, {self.money}, {self.province}"

（2）定义文件相关的类

设计一个抽象类，定义文件读取的相关功能，并使用子类实现具体功能，因为文件的数据格式不同，我们读取文件的具体实现逻辑也不一样，所以定义一个抽象类，通过子类去实现具体数据的具体读取方法。

新建一个python文件，名为：file_define.py,先定义一个抽象类FileRecord用来做顶层设计，确定有哪些功能（read_data方法）需要实现，并分别定义TextFileRecord类和JsonFileRecord类，继承FileRecord类，复写父类的read_data方法，

具体代码如下：

2. from data_define import Record

4. import json

8. # 先定义一个抽象类用来做顶层设计，确定有哪些功能需要实现

10. class FileRecord:

12. def read_data(self) -> list[Record]:

14. # 读取文件的数据，读到的每一条数据都转换为Record对象，将他们都封装到List内并返回即可

16. pass

20. class TextFileRecord(FileRecord):

22. def __init__(self, path):

24. self.path = path # 定义成员变量记录文件路径

27. # 复写（实现抽象方法）父类的方法

29. def read_data(self) -> list[Record]:

31. f = open(self.path, "r", encoding="UTF-8")

33. record_list: list[Record] = []

35. for line in f.readlines():

37. line = line.strip() # 消除读取到的每一行数据中的\n

39. data_list = line.split(",")

41. record = Record(data_list[0], data_list[1], int(data_list[2]), data_list[3])

43. record_list.append(record)

45. # print(record_list)

47. f.close()

49. return record_list

53. class JsonFileRecord(FileRecord):

55. def __init__(self, path):

57. self.path = path # 定义成员变量记录文件路径

60. # 复写（实现抽象方法）父类的方法

62. def read_data(self) -> list[Record]:

64. f = open(self.path, "r", encoding="UTF-8")

66. record_list: list[Record] = []

68. for line in f.readlines():

70. data_dict = json.loads(line)

72. record = Record(data_dict["date"], data_dict["order_id"], data_dict["money"], data_dict["province"])

74. record_list.append(record)

76. # print(record_list)

78. f.close()

80. return record_list

84. if __name__ == '__main__':

86. # 测试读取文本文件

88. text_file_record = TextFileRecord("G:\资料\2011年1月销售数据.txt")

90. lin1 = text_file_record.read_data()

92. for l1 in lin1:

94. print(l1)

97. # 测试读取json文件

99. json_file_record = JsonFileRecord("G:\资料\2011年2月销售数据JSON.txt")

101. lin2 = json_file_record.read_data()

103. for l2 in lin2:

105. print(l2)

运行结果：

（3）合并数据

新建一个python文件main.py，读取数据并将1月份数据和2月份数据合并

2. from file_define import FileRecord, TextFileRecord, JsonFileRecord

4. from data_define import Record

7. text_file_record = TextFileRecord("G:\资料\2011年1月销售数据.txt")

9. json_file_record = JsonFileRecord("G:\资料\2011年2月销售数据JSON.txt")

11. jan_data: list[Record] = text_file_record.read_data() # 读取1月份数据并保存到jan_data

13. feb_data: list[Record] = json_file_record.read_data() # 读取2月份数据并保存到feb_data

15. all_data: list[Record] = jan_data + feb_data # 合并两个月份的数据

17. # print(all_data)

合并数据之后的结果：

构建数据库链接并写入数据库

我们首先需要导包：from pymysql import Connection，我在代码中分别创建了sell数据库和orders表，其实可以直接通过数据库可视化工具创建，创建完成后直接执行insert插入语句即可，参考代码如下：

2. # 构建数据库链接

4. conn = Connection(

6. host="localhost",

8. port=3306,

10. user="root",

12. password="123456",

14. autocommit=True # 执行sql语句时自动提交

16. )

18. # 构建游标对象

20. cur = conn.cursor()

22. cur.execute("SHOW DATABASES")

24. database_list = []

26. for db in cur:

28. database_list.append(db[0])

30. print(database_list) # 打印出当前所有数据库

32. if "sell" in database_list: # 如果数据库存在则不创建，如果不存在则创建数据库sell

34. pass

36. else:

38. creat_data_base = "CREATE DATABASE sell"

40. cur.execute(creat_data_base)

43. conn.select_db("sell")

45. cur.execute("SHOW TABLES")

47. tab_list = []

49. for tab in cur:

51. tab_list.append(tab[0])

53. print(tab_list) # 打印当前库中的所有表

55. if "orders" in tab_list: # 如果表存在则不创建，如果不存在则创建表orders

57. pass

59. else:

61. cur.execute("CREATE TABLE orders(order_date DATE,order_id VARCHAR(255),money INT,province VARCHAR(10))")

63. # 遍历所有数据，并执行插入语句

65. for record in all_data:

67. sql = f"INSERT INTO sell.orders(order_date,order_id,money,province) VALUES ('{record.date}','{record.order_id}',{record.money},'{record.province}')"

69. print(sql)

71. cur.execute(sql)

74. # 关闭数据库链接

76. cur.close()

运行代码成功之后，可在数据库中看到，数据已经正常写入orders表中：

从数据库读取数据并保存到本地

相对写入数据来说，读取数据保存到本地更加简单，先从数据库读取数据，然后处理数据，之后保存到本地文件即可。

（1）保存为txt文件

代码如下：

2. from pymysql import Connection

4. from data_define import Record

7. # 构建数据库链接

9. conn = Connection(

11. host="localhost",

13. port=3306,

15. user="root",

17. password="123456",

19. autocommit=True # 执行sql语句时自动提交

21. )

23. # 构建游标对象

25. cur = conn.cursor()

27. cur.execute("select * from sell.orders") # 读取orders表中的所有数据

30. record_list = []

32. for data in cur:

34. record = Record(data[0], data[1], data[2], data[3])

36. record_list.append(record) # 将读取的每一数据封装成一个Record对象并添加到record_list列表中

39. f = open("E:\sell_orders_data.txt", 'w') # 文件存在，则直接覆盖文件中的内容写入，不存在，先创建文件再写入数据

41. for sell_data in record_list:

43. # 只能写入str类型的，则把读取的Record对象转化为str，每个字段用","分割

45. str_data = str(sell_data.date) + "," + sell_data.order_id + "," + str(sell_data.money) + "," + sell_data.province

47. f.write(str_data)

49. f.write("\n")

51. f.close()

查看保存的txt文件：

（2）保存为excel文件

代码如下：

2. import xlwt

4. # 写入到excel文件中

6. # 调用xlwt模块中的Workbook方法来创建一个excel表格类型文件，style_compression设置是否压缩，赋值为0表示不压缩。

8. book = xlwt.Workbook(encoding='utf-8', style_compression=0)

10. # 用book对象调用add_sheet方法来建立一张sheet表，这里面的第一个参数很明显就是设置sheet表格的名称，第二个参数cell_overwrite_ok用于确认同一个cell单元是否可以重设值，这里赋值为True就表示可重设值。

12. sheet = book.add_sheet('销售数据表', cell_overwrite_ok=True)

14. # 用一个元组col自定义列的数量以及各列的属性名

16. col = ('销售日期', '订单ID', '销售额', '省份')

18. # 写入表头

20. for i in range(0, 4):

22. sheet.col(i).width = 5000 # 设置宽度

24. sheet.write(0, i, col[i])

26. datastyle = xlwt.XFStyle() # 创建一个样式对象，初始化样式

28. datastyle.num_format_str = 'yyyy-mm-dd' # 设置日期格式

30. # 循环record_list数据并写入

32. for row in range(1, len(record_list) + 1):

34. sheet.write(row, 0, record_list[row - 1].date, datastyle) # 如果不加datastyle，写出来的日期列格式是不对的

36. sheet.write(row, 1, record_list[row - 1].order_id)

38. sheet.write(row, 2, record_list[row - 1].money)

40. sheet.write(row, 3, record_list[row - 1].province)

43. book.save('E:\订单销售额.xls')

46. f.close()

查看保存的excel文件：

 附录