python入门 -文件读写和数据清洗

一、文件操作

1. pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL
2. 使用read_csv方法读取，结果为dataframe格式
3. 在读取csv文件时，文件名称尽量是英文
4. 读取csv时，注意编码，常用编码为utf-8、gbk 、gbk2312和gb18030等
5. 使用to_csv方法快速保存

1.1 csv文件读写

读取文件，以下两种方式：

import pandas as pd

a 使用pandas读入需要处理的表格及sheet页

df = pd.read_csv("test.csv",sheet_name='sheet1') #默认是utf-8编码

b 或者使用with关键字

    #按行遍历
    for row in df:
        #修正
        row = row.replace('阴性','0').replace('00.','0.')
        ...
        print(row)

将处理后的结果写入新表

#建议用utf-8编码或者中文gbk编码,默认是utf-8编码,index=False表示不写出行索引
df.to_csv('df_new.csv',encoding='utf-8',index=False) 

1.2 excel文件读写

a 读入需要处理的表格及sheet页

df = pd.read_excel('测试.xlsx',sheet_name='test')  
df = pd.read_excel(r'测试.xlsx') #默认读入第一个sheet

b 只需要某几列，可以使用usecols参数

df = pd.read_excel('测试.xlsx',usecols=[5,6,7,8]) #读入5至8列 注意[5:8]会报错 ，usecols是列表参数，不支持切片写法

将处理后的结果写入新表

<