最近在处理关于温度的数据,其中需要提取平均温度的数据,但是由于数据量太大,直接在Excel中操作相当费时间,所以编写了python脚本来处理这些数据。主要是将同一个文件夹里面的所有Excel表格的指定列中的数据(例如,一个月的每日平均温度、降水量数据)提取到一张Excel表格中。
1. 汇总多个Excel中指定列数据到一张表格
实现代码:
import xlrd
import xlwt
from xlutils.copy import copy
import os
import pandas as pd
def create_excel(path, sheet_name):
workbook = xlwt.Workbook() # 新建一个工作簿
workbook.add_sheet(sheet_name) # 在工作簿中新建一个表格
workbook.save(path) # 保存工作簿
def read_data(FileName):
# 1.打开文件
open_file = xlrd.open_workbook(FileName)
# 2.读取第二列的内容(表中第一列索引值为0)
st = open_file.sheet_by_index(0) #选取第一个工作表
# 如果想要使用该代码,你可以改写下面的39为你想要的Excel的列号
data = [st.cell_value(i,39) for i in range(1, st.nrows)]
# 3.将表名追加到列表作为第一个元素
title = open_file.sheet_names()
data = title + data
return data
def write_data(path, data):
index = len(data) # 获取索引写入的行数
workbook = xlrd.open_workbook(path) # 打开工作簿
sheets = workbook.sheet_names() # 获取工作簿中的所有表格
worksheet = workbook.sheet_by_name(sheets[0]) # 获取工作簿中所有表格中的的第一个表格
cols_old = worksheet.ncols # 获取表格中已存在的数据的列数
new_workbook = copy(workbook) # 将xlrd对象拷贝转化为xlwt对象
new_worksheet = new_workbook.get_sheet(0) # 获取转化后工作簿中的第一个表格
for i in range(0, index):
new_worksheet.write( i, cols_old + 2, data[i]) # 追加写入数据
new_workbook.save(path) # 保存工作簿
def get_file_name(file_dir):
tmp_lst = []
for root, dirs, files in os.walk(file_dir):
for file in files:
tmp_lst.append(os.path.join(root, file))
return tmp_lst
def main():
DIR_NAME = r'F:\\全国气象日数据\\插值文件\\合并2\\'
create_excel(DIR_NAME + '合并2.xls','汇总数据')
print(DIR_NAME + '合并2.xls')
tmp_list = get_file_name(DIR_NAME)
for dir in tmp_list:
data = read_data(dir)
# data1 = read_data1(dir)
write_data(DIR_NAME + '\合并2.xls', data)
# write_data(DIR_NAME + '\合并.xls', data)
print('------------'+ dir.split("\\")[-1] + '数据写入成功!-----------' )
if __name__ == '__main__':
main()
结果显示:
合并2(文件)数据结果显示:
2. 批量csv转换excel格式
import os
import pandas as pd
def csv_save_as_xlsx(data_path):
for dirpath,dirname,filenames in os.walk(data_path):
#os.walk()遍历文件
for fname in filenames:
file_name=os.path.join(dirpath,fname)
if file_name.endswith('.csv'):
df = pd.read_csv(file_name,dtype ='object')
floder,name = os.path.splitext(file_name) #分割后缀
df.to_excel(f"{floder}.xls",index=False)
print(f'{file_name} 转换完成')
print('-----------------------------------------------------------------------------------------------------------')
os.remove(file_name)
print('OK!!!')
data_path="D:\\GoogleChrome\\新建文件夹\\" #填自己的根文件目录
csv_save_as_xlsx(data_path)