三、基于python的数据批量读取、处理与保存

1.数据的批量读取

#导入需要用到的库函数
import numpy as np
import pandas as pd
import os

#文件路径
dir_str=r"F:\车联网数据\所有车辆数据\数据"  #此处填文件的路径
file_name=os.listdir(dir_str)
file_dir=[os.path.join(dir_str,x) for x in file_name]
file_dir[:,5] #显示前5个

结果如下：

2.数据的批量处理与保存

此处可写个循环，将数据文件一个一个读取并处理，然后将结果单独保存为一个excel文件。

#定义一个批量处理的函数
def piliang():
    for j in range(len(file_dir)):  
    #for循环内部为你需要对数据处理的步骤，可自己按需求写出。
        data=pd.read_excel(file_dir[j])
        data["时间"]=data["时间"].str.replace("/","-").str[0:19]
        #将时间格式化为timestamp格式
        data["时间"]=pd.to_datetime(data["时间"],format='%Y-%m-%d %H:%M:%S')
        
        #检查里程跳变
        licheng_index=[]
        for i in range(len(data["GPS里程"])-1):
            if (data["GPS里程"][i+1]-data["GPS里程"][i])>1 or (data["GPS里程"][i+1]-data["GPS里程"][i])<0:
                licheng_index.append(i)
#此处省略一些处理步骤

#数据的批量保存
		yuanyin_fenxi=pd.concat([tiaobian_shijian,tiaobian_jingdu,tiaobian_weidu,tiaobian_licheng,
                        tiaobian_licheng_cha,tiaobian_chesu,tiaobian_dianya,tiaobian_dianliu,
                        tiaobian_soc,licheng_tiaobian,licheng_queshi,licheng_yichang], axis=1)

#此处得出的yuanyin_fenxi为处理后得到的DataFrame
        
        #将里程跳变原因分析保存为excel文件
        # 保存到本地excel
        file_name_final = f"F:\车联网数据\所有车辆数据\数据的里程分析结果\_{vehicle_name[j]}_分析结果.xlsx"
#         file_name_final = f"F:\车联网数据\LLUGABA27JL501785_20200729162056\_{vehicle_name[j]}_分析结果.xlsx"
        yuanyin_fenxi.to_excel(file_name_final,sheet_name='里程分析', index=False) 

如此便可将所有的数据文件批量读取、处理以及保存了。