Python CSV 模块通关秘籍：数据表格处理不求人

Python CSV 模块通关秘籍：数据表格处理不求人

对话实录

小白：（苦恼）我导出的CSV用Excel打开全是乱码！
专家：（递上秘籍）（掏出魔法书）**编码问题！用utf-8-sigma保存！

CSV格式初体验

CSV后缀的文件是标准文件格式，可以通过文本编辑器或者excel表格打开，

使用非常广泛；使用文本编辑器打开后，每一行都以英文逗号隔开。

文本编辑器打开

Excel表打开

基础操作，初窥门径

1. 模块导入

Python 内置了csv模块，无需额外安装，直接导入即可：

import csv

2.常用函数速查表

函数 / 类名	作用	示例场景
csv.reader	按行读取 CSV 文件	逐行解析日志文件
csv.writer	按行写入 CSV 文件	批量写入用户数据
csv.DictReader	以字典形式读取 CSV 文件	按字段名提取学生成绩
csv.DictWriter	以字典形式写入 CSV 文件	生成结构化报表

3.使用csv.reader逐行读取CSV文件

with open('data.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)  

# 输出内容类似 ['name', 'age'], ['王三', '21'], ['李四', '28']

4. 使用csv.writer写入CSV文件

data = [
    ['Charlie', 35],
    ['David', 40]
]
with open('new_data.csv', 'w', encoding='utf-8-sig', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(data)

专家提醒：使用utf-8-sig编码解决Excel的乱码问题！

5. 使用csv.DictReader以字典形式读取 CSV 文件

with open('data.csv', 'r', encoding='utf-8') as f:
    reader = csv.DictReader(f)
    reader.fieldnames = ['a','b']
    for row in reader:
        print(row['a'])  # 输出 '王三', '李四'

专家提醒：csv_read.fieldnames = ['a','b'] 表示设置每一行数据对应的字典的key值，如果不设置，会使用csv第一行的内容作为字典的key

6. 使用csv.DictWriter以字典形式写入 CSV 文件

fieldnames = ['name', 'age']
with open('new_dict_data.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'name': 'Eve', 'age': 28})
    writer.writerows([{'name': 'Eve', 'age': 28}])

专家提醒：使用csv.DictWriter()函数，参数fieldnames定义字典的key，通过writeheader函数写入csv文件的第一行，通过writerows函数写入列表中的所有字典对象的value值或者writerow函数写入单个字典对象。

实际案例

案例 1：按列提取数据

从scores.csv中提取数学成绩：

math_scores = []
with open('scores.csv', 'r', encoding='utf-8') as f:
    reader = csv.DictReader(f)
    for row in reader:
        math_scores.append(int(row['math']))
print(math_scores)  # 输出 [85, 78]

案例 2：数据清洗与转换

将日期格式dd/mm/yyyy转为yyyy-mm-dd：

new_data = []
with open('dates.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f)
    for row in reader:
        date_parts = row[0].split('/')
        new_date = f"{date_parts[2]}-{date_parts[1]}-{date_parts[0]}"
        new_data.append([new_date])

with open('new_dates.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(new_data)

案例 3：合并多个 CSV 文件

合并file1.csv和file2.csv：

merged_data = []
for filename in ['file1.csv', 'file2.csv']:
    with open(filename, 'r', encoding='utf-8') as f:
        reader = csv.reader(f)
        merged_data.extend([row for row in reader])

with open('merged.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerows(merged_data)

闭坑指南

换行符问题

错误示范（Windows 下多出空行）：

with open('test.csv', 'w', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['test'])

正确做法（添加newline=''）：

with open('test.csv', 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['test'])

数据类型转换

错误示范（直接比较字符串）：

with open('scores.csv', 'r', encoding='utf-8') as f:
    reader = csv.DictReader(f)
    for row in reader:
        if row['math'] > 80:  # ❌ 字符串比较错误
            print(row)

正确做法（转换为数值）：

with open('scores.csv', 'r', encoding='utf-8') as f:
    reader = csv.DictReader(f)
    for row in reader:
        if int(row['math']) > 80:
            print(row)

专家工具箱

1. 处理复杂分隔符

读取制表符分隔的文件：

with open('tab_separated.csv', 'r', encoding='utf-8') as f:
    reader = csv.reader(f, delimiter='\t')
    for row in reader:
        print(row)

2 自定义CSV格式

csv.register_dialect('my_dialect',
                    delimiter='|',
                    quoting=csv.QUOTE_MINIMAL)

with open('data.csv', 'w') as f:
    writer = csv.writer(f, dialect='my_dialect')

3. 处理百万级大文件

def process_large_file(file_path):
    with open(file_path) as f:
        reader = csv.reader(f)
        for row in reader:
            process(row)  # 逐行处理，避免内存爆炸

4. 与Pandas配合使用

import pandas as pd

# 读取CSV
df = pd.read_csv('big_data.csv')

# 写入CSV
df.to_csv('output.csv', index=False)

小白：（豁然开朗）原来 CSV 模块能这么高效处理数据！
专家：（微笑）记住：掌握 CSV 模块，数据表格处理就能得心应手！