Excel计算Fleiss Kappa分数

这个分数是用来评估多名评估员对于一系列观测样本的评估的一致性。Fleiss Kappa分越高,说明分歧越小,大家做出的判断都差不多,反之分数越低,分歧越大。
维基百科上的分数和对应解释,一般0.8以上被认为基本完美的同意,0.6-0.8被认为大量的同意,以此类推。
在这里插入图片描述

现在有这样一堆数据:
在这里插入图片描述
表示有10个样本,和5种可以类别(A-E),每一行数字的总和都是14,说明有14个评估员。

先进行横向比较, P i P_i Pi表明的是对于第i个样本,大家的一致程度, 其计算公式是这一行(所有数据的平方和-n)/(n*(n-1)),这里的n表示评估员个数,即14
对于第一行,则有:
P 1 = 0 2 + 0 2 + 0 2 + 0 2 + 1 4 2 − 14 14 ( 14 − 1 ) ≈ 0.213 P_1 = \frac{0^2+0^2+0^2+0^2+14^2-14}{14(14-1)} \approx 0.213 P1=14(141)02+02+02+02+142140.213

Excel 公式: =(SUMSQ(A1:E1)-14)/(14*13)

因为我们已经知道了每一行总和,如果不知道的情况下,就把14替换成SUM(A1:E1).

然后通过拖拽,使得每一行都被计算:

如果你的数据有很多,那么想要拖拽时,可以先点击你需要的那一列,按住ctrl+shift+下,选中所有列,然后按ctrl+D,即可对该列执行相同操作。

然后再对每一列进行计算,计算公式为(某一列总和)/(列长*评估员数量),这里列长为10,评估员为14,所以总和是140。同样也可以用所有列/行的总和表示。

针对第一列,计算结果如下:

p 1 = 0 + 0 + 0 + 0 + 0 + 2 + 7 + 3 + 2 + 6 + 0 14 ∗ 10 ≈ 0.143 p_1 = \frac{0+0+0+0+0+2+7+3+2+6+0}{14*10} \approx 0.143 p1=14100+0+0+0+0+2+7+3+2+6+00.143

Excel计算方法为:

=SUM(A1:A10)/SUM($A1:$E10)
在这里插入图片描述

然后分别计算所有 P i P_i Pi的平均值,即第F行平均值 P ˉ ≈ 0.378 \bar{P} \approx 0.378 Pˉ0.378

再计算所有 p j p_j pj的平方和,即第11行的平方和 P e ˉ ≈ 0.213 \bar{P_e} \approx 0.213 Peˉ0.213

最后可获得kappa分数 κ = P ˉ − P e ˉ 1 − P e ˉ = 0.378 − 0.213 1 − 0.213 = 0.210 \kappa = \frac{\bar{P}-\bar{P_e}}{1-\bar{P_e}} = \frac{0.378-0.213}{1-0.213}=0.210 κ=1PeˉPˉPeˉ=10.2130.3780.213=0.210

所以最后根据分数,一致性只有0.21,可以被认为是Slight agreement。

  • 4
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
下面是使用Python实现Cronbach's alpha的示例代码: ```python import pandas as pd from pyreadstat import cronbach_alpha # 读取数据 data = pd.read_csv('data.csv') # 提取需要计算的数据列 data_to_analyze = data[['item1', 'item2', 'item3', 'item4', 'item5']] # 计算Cronbach's alpha alpha = cronbach_alpha(data_to_analyze)[0] print('Cronbach\'s alpha:', alpha) ``` 下面是使用Python实现Krippendorff's alpha的示例代码: ```python import pandas as pd from sklearn.metrics import pairwise_distances from scipy.stats import krippendorff_alpha # 读取数据 data = pd.read_csv('data.csv') # 提取需要计算的数据列 data_to_analyze = data[['coder1', 'coder2', 'coder3']] # 计算距离矩阵 distances = pairwise_distances(data_to_analyze, metric='nominal') # 计算Krippendorff's alpha alpha = krippendorff_alpha(data_to_analyze.values, metric='nominal', distance=distances) print('Krippendorff\'s alpha:', alpha) ``` 下面是使用Python实现Cohen's kappa的示例代码: ```python import pandas as pd from sklearn.metrics import cohen_kappa_score # 读取数据 data = pd.read_csv('data.csv') # 计算Cohen's kappa kappa = cohen_kappa_score(data['coder1'], data['coder2']) print('Cohen\'s kappa:', kappa) ``` 下面是使用Python实现Fleiss' kappa的示例代码: ```python import pandas as pd from sklearn.metrics import cohen_kappa_score from sklearn.metrics import confusion_matrix # 读取数据 data = pd.read_csv('data.csv') # 提取需要计算的数据列 data_to_analyze = data[['coder1', 'coder2', 'coder3']] # 计算混淆矩阵 confusion = confusion_matrix(data_to_analyze.values.flatten(), [1, 2, 3]) # 计算Fleiss' kappa kappa = cohen_kappa_score(data_to_analyze, weights='quadratic') print('Fleiss\' kappa:', kappa) ``` 下面是使用Python实现ICC的示例代码: ```python import pandas as pd from statsmodels.stats.anova import AnovaRM from statsmodels.stats.inter_rater import ICC # 读取数据 data = pd.read_csv('data.csv') # 计算ICC model = AnovaRM(data, 'score', 'id', within=['task']) results = model.fit() icc = ICC(data['id'], data['score']).reliability print('ICC:', icc) ``` 上面的示例代码仅供参考,具体的实现方式可能因数据类型和具体情况而异。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值