以实战学习pandas使用方式：统计考生成绩统计及分布

引子

老顾日常工作，是用不到 python 的，所以，老顾的 python 学习进度推进的非常缓慢，至今没用上 pandas 和 numpy，即便参加了新星计划艾派森的学习小组，也没什么动力去看这方面的内容。

结果，昨天在群里，有个小伙伴问老顾能不能帮忙做个数据统计。由于老顾最近准备开营做一期数据库进阶查询的内容，所以这个小伙伴就问怎么用数据库做。

然后的然后，发现这个小伙伴是学了一些 python 基础的。。。。。好么，放着 pandas 不用，想要装个 sqlserver 。。。。也是够可以的。

于是，老顾就用这个小伙伴的内容，做了一次学习，熟悉一下 pandas。

CSDN 文盲老顾的博客，https://blog.csdn.net/superwfei

需求

首先，是有这么一个 excel 表，记录了某年级全部学生的考试成绩。

然后，需要得到全部学生各科的平均分，及格率以及优秀率。

其次，将总表按班级分成多个子表，并对每个班级统计各科的平均分，及格率及优秀率。

再然后，出一个统计表，统计各科目中，各班的平均分，合格率，优秀率，并按照一定权重，计算出最后的合计分，并对合计分进行排名。

最后，出一个简单的统计，统计每个班，前n名各有多少人。

嗯。。。。。好么，一看这需求，那 pandas 必须上啊，一个学习 pandas 的好机会。

逐步实现

使用 pandas 读 excel

import pandas as pd
source = r'期中测试成绩汇总.xls'
df = pd.read_excel(source,sheet_name='学生总成绩')

为了以后使用方便，把文件名单独放到变量中，后续使用就方便一点。

然后，pandas 自带读 excel 文件的方法，并且可以指定 sheet。很方便哦。

初始化一些数据

对于平均分，我们好弄，但是及格率和优秀率，却需要一些数据支持了。经过与小伙伴的沟通，初始了两个字典。

# 初始化常数，满分和统计比率
full = {'语文':120,'数学':120,'英语':120,'物理':70,'政治':70,'化学':50,'历史':50,'总分':600}
grade = {'及格':60,'优秀':80}

用full来记录各科目的满分成绩，用 grade 来记录各档次为满分的百分之多少。

获取 excel 列名

为了保证数据的一致性，我们要读一次 excel 列名，在之后附加数据的时候，保证各列的顺序不会发生紊乱。

# 获取列名
columns = [k for k,d in df.iteritems()]

pandas 自己提供了 iteritems 方法，这就是一个迭代推导式，直接遍历即可。

获取总表的统计数据

# 平均分
print(['','平均分'] + [round(v,2) for v in df.mean()])
# 各种率
print([['',g + '率'] + [round(len(df[df[k] >= full[k] * grade[g] / 100]) / len(df) * 100,2) for k,d in df.iteritems() if k in full] for g in grade])

可以看到平均分很方便，直接 mean 即可。。。。。

而各种率，老顾就用推导式直接弄了，推导式的学习，可以参考老顾的文章《python 基础系列篇：八、熟练掌握推导式》。

计算方式也很简单，使用 pandas 自带的筛选功能 pd[pd[列] 条件] 可以得到符合条件的结果集，用 len 测下长度，比上总数，就是各种率了。

这里的条件，就是用各科满分成上各种率的比例，为了避免出错，还要限定列是出现在各科目字典中的。

总之，用推导式就完事。

最后把这几个数据，也转成 DataFrame。

# 获取总平均分，总及格率，总优秀率
app = pd.DataFrame([[],[]] + [['','平均分'] + [round(v,2) for v in df.mean()]] + [['',g + '率'] + [round(len(df[df[k] >= full[k] * grade[g] / 100]) / len(df) * 100,2) for k,d in df.iteritems() if k in full] for g in grade],columns=columns)

分班级数据

后边的数据，要分成各个班级，做成子表，所以，先获取下班级信息。集合加排序，很方便。

# 获取班级号
clss = sorted(set(df['班级']))

需要注意变量名不要使用关键字，比如 class 或者 cls 之类的，会报语法错误哦。

得到班级号之后，直接用列表推导式，得到各班级各自的成绩即可。还是用 DataFrame 的筛选功能。

# 获得各班成绩
班级成绩 = [df.loc[df['班级'] == k] for k in clss]

变量名可以用中文哦，实在不知道怎么给变量起名，作为起名废，那就直接上中文。

然后按照总表得到的统计方式，统计各班的统计信息。

# 获得各班统计
班级统计 = [pd.DataFrame([[],[]] + [['','平均分'] + [round(v,2) for v in 班级成绩[i].mean()]] + [['',g + '率'] + [round(len(班级成绩[i][班级成绩[i][k] >= full[k] * grade[g] / 100]) / len(班级成绩[i]) * 100,2) for k,d in 班级成绩[i].iteritems() if k in full] for g in grade],columns=columns) for i,k in enumerate(clss)]

推导式玩得转，代码就看着很简略。

各科目比率统计

再次沟通后得到各比率的权重和列名集合，继续用推导式得到结果。

# 四率计算
四率列名 = ['班级','平均分','折合','及格率','折合','优秀率','折合','巩固率','折合','合计分','名次']

四率 = [[[k,班级统计[i].loc[2][科目],round(班级统计[i].loc[2][科目] * .2,2),班级统计[i].loc[3][科目],round(班级统计[i].loc[3][科目] * .5,2),班级统计[i].loc[4][科目],round(班级统计[i].loc[4][科目] * .1,2),100,10,round(班级统计[i].loc[2][科目] * .2 + 班级统计[i].loc[3][科目] * .5 + 班级统计[i].loc[4][科目] * .1 + 10,2),0] for i,k in enumerate(clss)] for 科目 in full]

名次项，小伙伴有特殊需求，需要1班和2班比较，3，4，5，6，7班进行比较，得出各自的排名。所以，这个只能用循环做了。

final = []
for i,k in enumerate(full):
    arr = 四率[i]
    rank1 = sorted(set([v[9] for u,v in enumerate(arr) if u < 2]),reverse=True)
    rank2 = sorted(set([v[9] for u,v in enumerate(arr) if u > 1]),reverse=True)
    for u,j in enumerate(arr):
        j[10] = (rank1 if u < 2 else rank2).index(j[9]) + 1
    final += [[k,*['' for _ in range(10)]],四率列名] + arr + [[''] * 11]
四率表 = pd.DataFrame(final,columns = 四率列名)      

得出两个排名，然后根据班级序号，更新到四率信息中。最后也转成 DataFrame。

统计名次分布

这次，是先建立一个 DataFrame，然后，再对各单元格数据进行更新

# 名次分布
分布 = pd.DataFrame([[c,*[0 for _ in range(10)]] for c in clss],columns=['班级',*['前{}名'.format(i * 10) for i in range(1,11)]])
for i in range(1,11):
    tmp = df[['班级','校排名']][df['校排名']<=i * 10].groupby('班级').count()
    for k,j in tmp.iteritems():
        d = dict(tmp[k])
        for u in d:
            print(d[u])
            分布.iloc[clss.index(u),i] = d[u]

写入文件

最后，就是写入到新的 excel 里了，指定另一个文件名，用来写入。

target = r'成绩统计.xls'
f = pd.ExcelWriter(target)
# 将统计信息追加到各表，写文件
final = df.append(app)
final.to_excel(f,sheet_name='学生总成绩', index=False)
for i,k in enumerate(clss):
    班级 = 班级成绩[i].append(班级统计[i])
    班级.to_excel(f,sheet_name=k, index=False)
# 四率写入
四率表.to_excel(f,sheet_name='四率',index=False)
# 分布写入
分布.to_excel(f,sheet_name='分布',index=False)
# 写入结束
f.close()

很好，打完收工。

小结

实战，才是学习最快的途径，碰到问题，分析问题，解决问题，一套流程下来，工具就能理解的七七八八了。

本次给小伙伴帮忙，算是大体上了解了 pandas 的 dataframe 对象，比如自带的聚合函数，比如可以按列筛选，比如 追加数据，比如 loc 与 iloc 的区别。

总之，多学多用，才能掌握的更好，小伙伴们，一起努力吧。