python对CSV、Excel、txt、dat、mat文件的处理

一、CSV文件读写

1、读取

1.1基于python csv库

从CSV文件读取到 list:

#加载数据  
def loadCSV(filename):  
    dataSet=[]  
    with open(filename,'r') as file:  
        csvReader=csv.reader(file)  
        for line in csvReader:  
            dataSet.append(line)  
    return dataSet  

读取的方式,是一行一行读取。

1.2 pandas读取

import pandas as pd
test_df = pd.read_csv(r'G:\test_linearRegression.csv',  
sep = '\t', header = None)

2、写入

import csv

#程序三
with open(r'G:\0pythonstudy\chengxu\test.csv','w',newline='') as myFile:      
    myWriter=csv.writer(myFile)  
    myWriter.writerow([7,'g'])  
    myWriter.writerow([8,'h'])  
    myList=[[1,2,3],[4,5,6]]  
    myWriter.writerows(myList)  
    
# myFile.close()

with open(r'G:\0pythonstudy\chengxu\test.csv',"r") as data:
    result=csv.reader(data)
    for item in result:
        print(item)

如果写入,纯用 open(r'G:\0pythonstudy\chengxu\test.csv','w'), 没有newline='',就会出现多出一空行。

二、Excel文件处理

1、读取

方法一:

使用Python的 xlrd包。

#1、导入模块
import xlrd

#2、打开Excel文件读取数据
data = xlrd.open_workbook('test_data.xlsx')
# print('data',data)

#3、使用技巧
#获取一个工作表
table = data.sheets()[0]          #通过索引顺序获取
# print('table',table)
print(table.nrows)#table 行数
print(table.ncols)
table = data.sheet_by_index(0) #通过索引顺序获取
# print('table',table)
table = data.sheet_by_name(u'Sheet1')#通过名称获取
 
# 获取整行和整列的值(数组)

i=1
print(table.row_values(i))#获得第i行数据

print(table.col_values(i))#获得第i列数据

运行结果:

9
2
[2.0, 6.0]
[5.0, 6.0, 7.0, 8.0, 9.0, 10.0, 11.0, 12.0, 13.0]

方法二:
或者,可以把Excel文件转换成csv格式文件,直接修改后缀名,好像会出错,还是建议另存为修改成csv文件。


方法三:
使用pandas包

import pandas as pd
test_df = pd.read_excel(r'G:\test.xlsx')

pandas 读取为dataframe格式,其中dataframe.valuesnparray格式,nparray.tolist()python list 格式。

注意:pandas和 xlrd的区别在于,pandas会把第一行和第一列作为索引的表头;xlrd则会把所有的数据都读取,没有索引表头一说。

三、dat文件处理

直接读取

c = np.fromfile('test2.dat', dtype=int)

或者,把 .dat 文件修改成 .txt格式文件。

这里可以参考 python批量更改文件后缀名 一文。

四、txt文件处理

使用numpy读取。

a = numpy.loadtxt('odom.txt') 
a [[  2.49870000e-01
    2.50250000e-01
 [  3.64260000e+03
    3.72430000e+03
 [  4.53960000e+03
    4.50590000e+03
 ...,
 [  4.74110000e+01
    4.89660000e+01
 [  4.10930000e+01
    4.20480000e+01
 [  1.83510000e+01
    1.68250000e+01
a.shape (52, 500)

五、mat文件读写

mat是MATLAB格式,使用python读取,会得到一个字典。

1.读取

import numpy as np 
import os 
os.chdir(r'F:/data')

import scipy.io as scio
data = scio.loadmat('97.mat')
print(data)

de = data['X097_DE_time']

运行结果:
这是一个字典。

{'__header__': b'MATLAB 5.0 MAT-file, Platform: PCWIN, Created on: Mon Jan 31 15:28:20 2000', '__version__': '1.0', '__globals__': [], 'X097_DE_time': array([[ 0.05319692],
       [ 0.08866154],
       [ 0.09971815],
       ...,
       [-0.03463015],
       [ 0.01668923],
       [ 0.04693846]]), 'X097_FE_time': array([[0.14566727],
       [0.09779636],
       [0.05485636],
       ...,
       [0.14053091],
       [0.09553636],
       [0.09019455]]), 'X097RPM': array([[1796]], dtype=uint16)}

读取的另一种方式,顺便把mat转换为array。(推荐):

from mat4py import loadmat
import numpy as np
data = np.array(loadmat('test.mat')['dictKey']).astype('float')

这两种方式只是使用的库不同而已。


Reference:

  1. Python csv模块
  2. python_xlrd对Excel处理
  3. python : 将txt文件中的数据读为numpy数组或列表;
  4. pandas read_csv API官网;
  5. scipy loadmat
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值