python3 数据处理(二)-- 清洗数据

本文介绍了如何使用Python3处理CSV文件,特别是针对数据清洗中替换不清晰的缩写标题为全称,以提高数据的可读性。通过Spyder3.5编程,首先读取mn.csv文件,然后利用csv.DictReader和列表zip方法来实现标题的替换。在处理过程中,发现了数据长度不一致的问题,并对此进行了分析,最终确定删除不重要的数据行,如MDV1F和MTA8E之外的列。
摘要由CSDN通过智能技术生成

利用spyder3.5编程

我们研究的一个mn.csv文件,标题为:
HH1 HH2 LN MWM1 MWM2 MWM4 MWM5 MWM6D MWM6M MWM6Y MWM7 MWM8 MWM9
这种形式

我们找到这些缩写标题的具体含义,并存于mn_headers.csv文件中
那么如何将这些标题与调查数据一一对应,使得文件更可读?下面研究。

读写CSV文件

替换标题

提高标题的可读性,最简单的将短标题换为长标题

利用csv.DictReader读成字典,再列表解析

from csv import DictReader

data_r = DictReader(open('C:/Users/elenawang/Documents/data/mn.csv','r',encoding="utf-8"))
header_r = DictReader(open('C:/Users/elenawang/Documents/data/mn_headers.csv','r',encoding="utf-8"))

data_rows = [d for d in data_r]
header_rows = [h for h in header_r]

将header_rows 中的在label的长标题 替换到 data_rows的字典标题

new_rows=[]

for data_dict in data_rows:
    new_row={}
    for dkey,dval 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值