python处理excel大量数据慢,python处理excel数据统计

本篇文章给大家谈谈python处理excel数据新建一列并写入数据，以及python处理excel数据作折线图的代码，希望对各位有所帮助，不要忘了收藏本站喔。

Source code download: 本文相关源码

Python批量处理excel数据（含完整代码）

pandas库可以有效的处理excel、csv和txt文件，并能多格式将数据重新保存为excel、csv和txt文件。

一、导入数据

利用pandas库中的read函数可以将excel文件读入，转化为 DataFrame格式


	import pandas as pd
	path = "D:\text.xlsx"   ##文件路径
    data = pd.read_excel(path,sheet_name = 0) ##若包含多个子表，可以用sheet_name参参数进行选择


若excel表中不包含列名信息可以在读入时，利用names参数进行指定


	data = pd.read_excel(path,names=["id","name","date"])


对于csv文件可以使用pd.read_csv函数进行数据导入

二、空表创建

当输出表格和输入表格的格式不一致时，我们可以通过创建空表来解决问题，新的DataFrame表格的数据可以为空，但是必须设置列名，也就是表头


	##利用list创建表头
	header = ["name","date"，"a","b"]
	##创建空表
	outData = pd.DataFrame(columns=header)

三、数据增删查改

1.数据查改
	利用loc和iloc函数可以对DataFrame 数据表中的数据进行查改，loc使用行名和列名进行调用，iloc使用行列索引进行调用


	propoLoc = data.loc["index", "proportion"]
	propoIloc = data.loc[0, 0]
	data.iloc[:, 5:] = data.iloc[:, 5:].astype(int) ##利用索引可以对数据进行批量处理，此句指令用于将表格第五列至最后一列的格式转化为整型int


2.数据增删
	利用drop函数可以删除指定行列，利用loc或insert函数可以增加列，loc用来增加行


	data.drop(index=[0], inplace=True) ##删除行名为0的行
	data.drop(columns=[0], inplace=True，axis=1) ##删除列名为0的列
	data.loc[str(csvName)] = rowData   ##增加行名为csvName的行，注意rowData要保证和data的列数一致
	data.loc[:,str(csvName)] = 0 ##增加列名为csvName的列，用0填充该列
	data.insert(data.shape[1], 'd', 0) ##在data.shape[1]处增加列，并用0填充

四、批量处理

首先利用os库对文件夹进行遍历，获得所有的excel文件


	import os
	excelNames = os.listdir(rootPath)  ##获得所有的文件名
	for excelName in excelNames:
		##对每个文件进行处理

五、常用的数据处理方法

1.字符串分割 str.split(",")   用逗号进行分割，并创建一个list进行存储
2.str.endswith("hello")   判断字符串的后缀

六、表格存储

1.单表存储：将一个sheet放入到一个excel中


    saveFile = rootPath+"test.xlsx"  ##指定保存文件，注意反复保存时，excel不要打开，否则无法写入
    rootData.to_excel(saveFile,index=False) ##保存指定，并不保存行名


2.多表存储：将多个sheet放入到一个excel中


        with pd.ExcelWriter('./dataOut.xlsx') as writer:
            DFa.to_excel(writer, sheet_name="表1")
            DFb.to_excel(writer, sheet_name="表2")
            DFc.to_excel(writer, sheet_name="表3")
            writer.save()
            writer.close()

批量表格处理完整代码：将多张表的信息进行汇总

import os
import pandas as pd

rootPath = "C:\test\"

def createOutCsv(path):
    data = pd.read_excel(path, names=["column1", "column2", "column3"])
    data.drop(index=[0], inplace=True)
    header = ["name"]  ###创建表头
    for index in data.index:  ##利用data中的所有column1创建表头
        column = data.loc[index,"name"].split(".")[-1]
        header.append(column)
    outData = pd.DataFrame(columns=header)  ##创建表格
    return outData

# Press the green button in the gutter to run the .
if __name__ == '__main__':
    path = rootPath + "test.xlsx"
    rootData = createOutCsv(path)
    csvNames = os.listdir(rootPath)
    numCsvPro = 1
    for csvName in csvNames:
        print("No.",numCsvPro," + Name: ",csvName)
        numCsvPro = numCsvPro + 1
        csvPath = rootPath+csvName
        data = pd.read_excel(csvPath, names=["column1", "column2", "column3"])
        data.drop(index=[0], inplace=True)
        data.iloc[:, :] = data.iloc[:, :].astype(str)
        rowData = []
        rowData.append(csvName)
        for index in range(1, len(data)+1):
            subData = []
            if data.loc[index, "column3"] != "nan" :
                propo = data.loc[index, "column3"].split(" ")
                for i in range(len(propo)-1):
                    subData.append(int(propo[i].split(":")[0]))
                    # subData.append(" ")
            elif data.loc[index, "column2"] != "nan":
                num = data.loc[index, "column2"].split(" ")
                frame = int(data.loc[index, "column1"].split("..")[0])
                for i in range(len(num)-1):
                    if(int(num[i])!=0):
                        subData.append(frame)
                    frame = frame + 1
            rowData.append(subData)
            rootData.loc[str(csvName)] = rowData
    saveFile = rootPath+"outData.xlsx"
    rootData.to_excel(saveFile,index=False)