知识卡片 一致性评价 r和k

一致性评价，是指对两个或多个相关的变量进行分析，从而衡量其相关性的密切程度。

举例如下：

如何评价两个评委(数据集)的一致性？

皮尔森 Pearson 相关系数；

皮尔森相关系数(Pearson coefficient)的应用背景举例:

•  用来衡量两个用户之间兴趣的一致性

• 用来衡量预测值与真实值之间的相关性

• 既适用于离散的、也适用于连续变量的相关分析

注：pxy 也就是 r  计算的是X和Y变量的相关系数；R^2 是判别系数，用来判别线性回归的拟合程度，即所有自变量作为一个总体，对因变量Y方差的解释程度，取值范围是[0,1]，当线性回归模型只有一个x和y时，那么R = r。

科恩卡帕 Cohen’s kappa 相关系数：

Cohen‘s kappa相关系数也可用于衡量两个评价者之间的一致性。

其特点在于：

• pearson相关系数的区别:Cohen‘s kappa 相关系数通常用于离散的分类的一致性评价。

• 通常被认为比两人之间的简单一致百分比更强壮，因为Cohen‘s kappa考虑到了二人之间的随机一致的可能性。

• Cohen‘s Kapps 主要用于两者的评价，如果评价者多于2人时，可以考虑使用 弗莱斯卡帕 Fleiss' kappa

举例说明：

对角线上的a d 情况是符合两评委评价的一致

若k值小于0.4，则一致性不理想，大于0.8则属于理想情况，小于0不相关。

弗莱斯卡帕相关系数 Fleiss' kappa：

Fleiss' kappa 是Cohen‘s kappa 相关系数的”升级版“，用于两者以上的一致性评价。

举例说明：

上图每一行的评价总数和为14，Fleiss' kappa 计算过程如下：

Kappa 系数 k 的计算公式都是相同的，可用于一致性检验，和衡量分类的精度，其计算是基于混淆矩阵的。

好文章，我 在看❤