Krippendorff’s Alpha 是啥

最新推荐文章于 2024-07-05 16:44:12 发布

HoKei2001

最新推荐文章于 2024-07-05 16:44:12 发布

阅读量2k

点赞数 11

文章标签：人工智能

本文链接：https://blog.csdn.net/m0_53466575/article/details/132362033

版权

一、起因是这篇文章

在专题分析过程中，我们确定了三个主要主题 (Braun & Clarke, 2006; Ezzy, 2002; Akter et al., 2020).确定的三个主要主题如下:training data bias，method bias 和societal bias。然后通过a reliability measure Krippendorff's alpha(或Kalpha)对主题进行验证和交叉检查。

首先，通过在三个标准下分析最终的40篇文章中的每一篇，测量Kalpha。
然后，我们通过采用其他研究者概述的程序计算了识别主题的互译信度 (Hayes & Krippendorff, 2007;Swert, 2012; Hayes, 2012)
最后，分析结果的Kalpha值为0.90，显著高于0.80的阈值水平，从而提供了足够的可靠性证据(Table 3)

在这篇文章中提到了对文章评价的一个标准，Kalpha，并且做了分析量化出具体的值0.90，与0.8的阈值比较，提供可靠性证据。

那么Kalpha究竟是什么呢?

搜索找到Klaus Krippendorff本人在2011.1.25发布的一篇文章“Computing Krippendorff’s Alpha-Reliability”其中解释了K alpha的相关内容。

二、概念定义

Krippendorff’s alpha (α) is a reliability coefficient developed to measure the agreement among observers, coders, judges, raters, annotators or measuring instruments drawing distinctions among typically unstructured phenomena or assign computable values to them. α emerged in content analysis but is widely applicable wherever two or more methods of generating data are applied to the same set of objects, predefined units of analysis or items and the question is how much the resulting data can be trusted to represent something worthy of analysis.

Krippendorff 's alpha (α)是一种可靠性系数，用于衡量观察者、编码员、裁判、评分者、注释者或测量工具之间的一致性，这些工具在典型的非结构化现象之间绘制了差异，或者为它们分配了可计算的值。alpha出现在内容分析中，但广泛适用于两种或多种生成数据的方法，这些方法应用于同一组对象、预定义的分析单元或项目，问题是结果数据在多大程度上可以信任，以表示值得分析的东西。

简单来说，K alpha就是一个评价结果可信度的参数，基于衡量观测者的结论有多大的一致性。当所有的观察者都结论完全一致，没有分歧，那么 alpha =1，这个结果的可靠性很高。当观察者都认为结果是偶然产生的，他们没有办法区分结果是随机还是给定的值时，那么 alpha =0，结果不可靠。

三、计算方式

$\alpha = 1-\frac{D_{o}}{D_{e}}$

观察到的（observed）分歧（Disagreement） $D_{o}=\frac{1}{n}\sum_{c}^{}\sum_{k}^{}o_{ck-metric} \delta_{ck}^{2}$

期望的（expected）分歧（Disagreement） $D_{e}=\frac{1}{n(n-1)}\sum_{c}^{}n_{c}\sum_{k}^{}n_{k-metric} \delta_{ck}^{2}$

HoKei2001

关注

11
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
Krippendorff’s Alpha 是啥

是一种可靠性系数，用于衡量观察者、编码员、裁判、评分者、注释者或测量工具之间的一致性，这些工具在典型的非结构化现象之间绘制了差异，或者为它们分配了可计算的值。alpha出现在内容分析中，但广泛适用于两种或多种生成数据的方法，这些方法应用于同一组对象、预定义的分析单元或项目，问题是结果数据在多大程度上可以信任，以表示值得分析的东西。简单来说，K alpha就是一个评价结果可信度的参数，基于衡量观测者的结论有多大的一致性。当所有的观察者都结论完全一致，没有分歧，那么 alpha =1，这个结果的可靠性很高。
复制链接

扫一扫