

「部分正确」到底算不算对:分级量表、双盲标注与加权 Kappa,用类别级一致率找出评分口径的裂缝
部分正确」算不算对,不是一个可以靠投票解决的问题。投票只能处理标注员个体差异,对指南空缺和指南歧义无效,而且会把仅有的证据销毁。可操作的顺序是:先把 rubric 写成带优先级的判定规则,让每个标签都能追溯到规则 ID;再做双盲标注,标注完成前不暴露规则输出;然后算加权 κ、混淆矩阵和每个类别的一致率;低一致类别的分歧样本进仲裁,仲裁产出的是指南 diff,不是单条标签;最后用换人复标和三个门禁指标判断改没改好。加权 κ 是一个汇总数字,适合对外汇报,不适合定位问题。定位问题靠类别级一致率和混淆矩阵。



