批量处理xls表数据
引入相关包
import pandas as pd
import xlrd
import numpy as np
# 去掉jupyleb警告
import warnings
warnings.filterwarnings("ignore")
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'
读取一个表,按照条件筛选,并统计多少条,并封装成函数,返回值为条数
def qushu(path):
#读取xls表中的数据到pandas中
wb = xlrd.open_workbook(path, logfile=open(os.devnull, 'w'))
df = pd.read_excel(wb)
#按照列名 条件 筛选出表中数据
data = df[(df['手术类别'] == '手术') | (df['手术类别'] == '介入治疗') ]
#data_drop = data.drop_duplicates(subset=['病案号'],keep=False) 只筛选病案号出现一次的患者
data_drop = data.drop_duplicates(subset=['病案号'],keep='first') #保留第一次出现的重复行,删除后面的重复行。
#查询符合的条数
len_num = data_drop.shape[0]
return len_num
pandas函数简介drop_duplicates
函数体:
df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
主要参数:
subset: 输入要进行去重的列名,默认为None
keep: 可选参数有三个:‘first’、 ‘last’、 False, 默认值 ‘first’。其中,
first表示: 保留第一次出现的重复行,删除后面的重复行。
last表示: 删除重复项,保留最后一次出现。
False表示: 删除所有重复项。
inplace:布尔值,默认为False,是否直接在原数据上删除重复项或删除重复项后返回副本。
批量读取文件
#文件名为1.xls、2.xls、.....
str = "C:/1.xls"
#提取每个文件名,这里比较灵活,可以多种方法,我这里有些不妥,可以直接循环拼接字符串
str_split_path = str.split(".")[0]
str_split_path = str_split_path[:-1]
num_list = []#将数据存到数组中
#循环读取操作xls,并将返回的数据保存在表中
for i in range(1,21):
str_all = str_split_path + "{}".format(i) + ".xls"
num_1 = qushu(str_all)
num_list.append(num_1)
print(num_list)