python 文件读写（xlsx， txt， csv）

1、txt文件读写

#读取txt文件，输出列表格式
with open("test.txt", "r") as f:
    data = f.readlines()
    print(data)

#重写，如果要追加，将'w'改为'a+'
with open("test.txt","w") as f:
    f.write("这是个测试！") 

详细的txt读写连接为：https://blog.csdn.net/qq_37828488/article/details/100024924

2、excel表格读写、追加(大数据量不建议使用excel表格存储数据（行数限制大概为6万行），建议使用csv文件存储数据（行数限制大概为220万行左右）)

#写excel表格数据
#list1：要写入的数据，类型为二维列表   [['1', '1', '1']]
#title: 文件的第一行的标题，类型为一维列表
#area: 为文件存储的位置
def write_excel(list1 ,title, area):
    wbt = xlwt.Workbook()
    sheet = wbt.add_sheet('表单1')
    for i in range(len(title)):
        sheet.write(0, i, title[i])
    for i in range(len(list1)):
        for j in range(len(list1[i])):
            sheet.write(i + 1, j, list1[i][j])
    wbt.save('{0}'.format(area))


#excel_path: 为文件路径
def read_excel(excel_path):
    data = xlrd.open_workbook('{0}'.format(excel_path))
    table = data.sheet_by_index(0)  # 获取sheet页
    rows = table.nrows  # 获取表的所有行
    list = []  # 定义一个空的列表，用于存放读出来的数据
    for row in range(rows):
        list.append(table.row_values(row))
    return list


#list1：要写入的数据，类型为二维列表   [['1', '1', '1']]
#excel_path: 为文件路径
#将数据追加到已有的表格中去
def add_excel(list1, excel_path):
    print('进入到了写数据的函数中')
    ###当转移时请将文件的打开地址换成您的项目目录
    rb = xlrd.open_workbook(excel_path,encoding_override='utf-8')
    wb = copy(rb)
    sheet = rb.sheet_by_index(0)
    rows = sheet.nrows  #获得行数
    w_sheet = wb.get_sheet(0)
    for i in range(len(list)):
        for j in range(len(list[i])):
            w_sheet.write(rows+i, j, list[i][j])
    wb.save(excel_path)

3、csv文件的读写（推荐使用）

import csv
import pandas

#读取csv文件的内容
def read_csv(csv_dir):
    #避免产生编码格式错误  error_bad_lines=False
    merge_dt = pandas.read_csv(csv_dir, encoding="utf-8-sig", engine='python', error_bad_lines=False)
    list1 = merge_dt.values.tolist()
    title_list = merge_dt.keys().tolist()
    return list1, title_list

#写入csv文件的内容
def write_csv(list1, area, title):
    list1.insert(0, title)
    # 加入newline='' ,是为了删除形成表格时产生的空行
    # encoding=‘utf-8-sig’ ，是为了避免中文写入csv中时出现乱码
    with open(area, 'w', encoding='utf-8-sig', newline='') as csvFile:
        writer = csv.writer(csvFile)
        #写入多行用writerows
        writer.writerows(list1)
    print('组合数据运行结束')

#无表新建表格写入数据，标题，有表时只写入数据（推荐使用）
def append_data_to_csv(data, file_name='result.csv'):
    """
    将数据追加到CSV文件。如果文件不存在则创建文件，并写入头部。

    :param file_name: 要写入的CSV文件名
    :param data: 要写入的数据，可以是字典或字典的列表
    """
    # 如果数据是单个字典，将其转换为列表形式
    if isinstance(data, dict):
        data = [data]

    # 获取字典的所有键作为CSV的头部
    # headers = sorted(set().union(*(d.keys() for d in data)))
    headers = list(data[0].keys())
    file_exists = os.path.isfile(file_name)

    with open(file_name, mode='a', newline='', encoding='utf-8') as file:
        writer = csv.DictWriter(file, fieldnames=headers)

        # 如果文件是新创建的，写入头部
        if not file_exists:
            writer.writeheader()

        # 写入数据
        writer.writerows(data)