R语言ICC函数中Consistency 和 agreement,one-way和two-way,single和mean的选择

先给出ICC选择方法的文献:
A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research
DOI:10.1016/j.jcm.2016.02.012

intraclass correlation coefficient (ICC)中文叫做同类相关系数。为什么要做icc呢。比如在标注的过程中,我们要衡量这个人标注的怎么样,我们可以这样做:
1.从总体样本中选择N个样本。每一个样本都由两个人标注,然后检查两个人标注的差别有多大。
2.还是N个样本,一个人标注完了,第二天再让他标注一次,检查两次标注的差别有多大。
上面1过程就是组间差异性,2就是组内差异性。icc可以用来衡量这种差异性。
计算公式如下,比较复杂
在这里插入图片描述
这个过程可以用R语言实现。
工具包:irr
函数:icc

  selected <- feature_1[feature_1$id %in% feature_3$id,]#获取id相同的样本
  for (i in 2:Len){#len是特征的数量,我这里的第一列是id号,所以从第二列开始循环
    ratings <- cbind(selected[,i],feature_3[,i])#这个可以查看icc的函数说明,就是拿出两列,进行特征的icc计算
    icc <- icc(ratings, model = "twoway", 
               type = "agreement", 
               unit = "single", r0 = 0, conf.level = 0.95)
    icc_val[i] <- icc$value
  }
  Index <- which(icc_val > thr)

这里主要的讲一下icc函数type这个参数和model这个参数。
unit 有single和mean
在这里插入图片描述
在这里插入图片描述
这两段话说的是,如果我们最后使用的值是所有评价者评分的平均数,那么就使用mean
如果我们使用的是这么多个评分者其中一个的评分的话,就是single

type有consistency和agreement两个选项。
在这里插入图片描述
agreement考虑的是不同的评分者之间对同一个样本的评分是否绝对一致(也就是两个评分者是否对同一个样本给出同样的评分)。
consistency考虑的是不同的评分者之间对同一个样本的评分是否存在相关性。
比如说,A评分者对a,b两个的评分分别是10和50,B评分者对a,b的评分是13和56.按照consistency的考虑方式就是,两个评分员给出的评分虽然不太一样,但是有相关性,就是说b的分数都比a的高,consistency性还是不错的。按照agreement的考虑方式来说,a和b的评分两次的值不一样,那么就是不一致的,agreement性不好。
这个需要按照实际项目要考察的角度来选择。
第二个参数model
one-way:
在这里插入图片描述
这段话是说,one-way这种形式,实在每个样本都由不同的评价者来评价,这些评价者是从一个总体中随机抽选出来的。但是我们的样本往往是由相同的人评价的。比如说对一批图像的标注,要求给每个图像标注的技术员都是不一样的。这个往往不会这样子,因为我们往往都是由一个人标注完所有的图片,再由另一个人标注相同的图片,在比较两者的差距。所以这总形式很少被使用到
two-way:
这个有两种情况。
第一种:
在这里插入图片描述
这种情况是随机的选择固定评分者。
在这里插入图片描述
这种情况是评分者是固定的。
综上,one-way是很少倍使用的,一般都是two-way。one-way只在每个样本都由不同的评分者评分的情况下使用。

由于本人不是学数学,也不是做统计的,只用到这3个特性,所以别的就不做说明了。读者可以参考文初给出的文献。

  • 10
    点赞
  • 48
    收藏
    觉得还不错? 一键收藏
  • 22
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 22
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值