量化评价和质化评价举例_知识卡片 一致性评价 r和k

403b3e856c794463e27088b8959bfb44.gif

一致性评价,是指对两个或多个相关的变量进行分析,从而衡量其相关性的密切程度。

举例如下:

5e22510a2b5003e51664e712192d5625.png

如何评价两个评委(数据集)的一致性?

皮尔森 Pearson 相关系数;

皮尔森相关系数(Pearson coefficient)的应用背景举例:

  •  用来衡量两个用户之间兴趣的一致性

  • 用来衡量预测值与真实值之间的相关性

  • 既适用于离散的、也适用于连续变量的相关分析

8b39cdb52f0ebb52af130d0691e34317.png

注:pxy 也就是 r  计算的是X和Y变量的相关系数;R^2 是判别系数,用来判别线性回归的拟合程度,即所有自变量作为一个总体,对因变量Y方差的解释程度,取值范围是[0,1],当线性回归模型只有一个x和y时,那么R = r。

科恩卡帕 Cohen’s kappa 相关系数:

Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。

其特点在于:

  • pearson相关系数的区别:Cohen‘s kappa 相关系数通常用于离散的分类的一致性评价。

  • 通常被认为比两人之间的简单一致百分比更强壮,因为Cohen‘s kappa考虑到了二人之间的随机一致的可能性。

  • Cohen‘s Kapps 主要用于两者的评价,如果评价者多于2人时,可以考虑使用 弗莱斯卡帕 Fleiss' kappa

举例说明:

505381b23afa4ff13927638a264f48fe.png

对角线上的a d 情况是符合两评委评价的一致

ac109e5a0082b1956175642d277a9dc7.png

70b99abe7ee774e0f9406e83cd6683cd.png

cccfd32d8d83bd67ef5b25bf7dbb3498.png

7c5b8fae19381db3888a2df32152c40f.png

若k值小于0.4,则一致性不理想,大于0.8则属于理想情况,小于0不相关。

弗莱斯卡帕相关系数 Fleiss' kappa:

Fleiss' kappa 是Cohen‘s kappa 相关系数的”升级版“,用于两者以上的一致性评价。

举例说明:

354e8a05dcb909a3022bbe39d029d1b6.png

上图每一行的评价总数和为14,Fleiss' kappa 计算过程如下:

f41d3f1f76004141578741667ee57756.png

e39c2483f26b21b6b756c0eb5df4e9b1.png

a45891797bd80d0d6c13c155e28099fc.png

Kappa 系数 k 的计算公式都是相同的,可用于一致性检验,和衡量分类的精度,其计算是基于混淆矩阵的。

ea8f0d03fbc8a64cec4e2917ee51c2ff.png

914eafc153ea0f1ddcc526ec24fea767.png

好文章,我 在看❤

已标记关键词 清除标记
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师:CSDN官方博客 返回首页