python读写多个csv文件汇总

最新推荐文章于 2024-05-29 22:56:42 发布

旺仔来了

最新推荐文章于 2024-05-29 22:56:42 发布

阅读量1.3k

点赞数

分类专栏：每日学习文章标签： python 数据挖掘开发语言

本文链接：https://blog.csdn.net/weixin_45503872/article/details/125295835

版权

Python pandas csv 数据统计文件合并

关键词由CSDN通过智能技术生成

每日学习专栏收录该内容

41 篇文章 0 订阅

订阅专栏

#将多个文件统计并重新添加表头
import pandas as pd
import os
import glob
import codecs
import pandas as pd
import os
import glob
import codecs
import csv
from collections import Counter
import re

#path = r"F://良好数据的csv文件"
path = r"F://zhengwangwork//data//良好数据的压缩包//udat自主化识别结果//udat-csv"

csv_files = glob.glob(os.path.join(path, "*.csv"))
  

file_name=[]
data=[]
dd=[]
keys = ['1000','19','90','1','2','4','7','3','6','5','11','12','13','20','30','31','32','40','300','301','200','201']
for f in csv_files:
    path=f.split("\\")[-1]
    file_name.append(path)
    #lines = open(f).readlines()
    #for writer_obj in lines:
    #        re.sub('\s','',lines)
    with open(f,encoding='utf-8') as csv_file:
        writer_obj = csv.DictReader(csv_file)
        
        for row in writer_obj:
            data.append(row['severity'].replace(" ",""))#去掉字符串中的空格，当然也可以去#掉其它的符号
    from collections import Counter
    res = Counter(data)#res 为字典
    data=[]#counter存在计数累加的bug，故此清零
    dd.append(res)
    print(res)

#print(dd) 
#print(data) 
name2=[file_name]
test=pd.DataFrame(columns=keys,index=name2,data=dd)
test['axis_1']=test.loc[:,['4','1000','19','90','5','6','7','11','12','13','20','31','32','10','300','301','200','201']].apply(lambda x:x.sum(),axis=1)
test['axis_2']=test.loc[:,['1','2','3']].apply(lambda x:x.sum(),axis=1)#统计并求和
#print(test)
#test.to_csv("C:/Users/hxy/source/repos/读取多个csv文件统计到一个里面/读取多个csv文件统计到一个里面/1.csv",encoding="gbk")
test.to_csv("F:/zhengwangwork/data/良好数据的压缩包/udat自主化识别结果/1.csv",encoding="gbk")

以上经验证无误，可以使用