质性数据分析软件NVivo的编码比较查询

NVivo是一款支持定性研究方法和混合研究方法的软件。它的编码比较查询是比较两个用户完成的编码，以衡量“评估者之间的可靠性”或用户之间编码的同意程度。它使您能够比较由两个用户或两组用户完成的编码。通过计算百分比一致性和“ Kappa系数”，这是提供了测量“评估者间可靠性”或用户之间一致性程度的方法。

• 协议百分比是协议单位数除以数据项内的总度量单位，以百分比显示。
• Kappa系数是一种统计量度，其中考虑了可能通过偶然性达成的协议量。

创建编码比较查询

• 在“浏览”选项卡上的“查询”组中，单击“ 编码比较”。将打开“编码比较查询”对话框。
• 在“编码比较之间”框中选择要包括在用户组A和B中的用户。
• 在“到”框中，单击“选择”以选择特定的节点。单击箭头以查看其他选项的菜单，例如，如果要在所选集中选择节点或案例。
• 在“范围”框中，单击“选择”以选择特定的文件。
• 选择是否要在结果中显示Kappa系数和百分比一致性。
• 点击运行。

查询运行完毕后，查询结果将显示在“详细信息视图”中。

注意：

• 要保存查询，请单击添加到项目按钮，然后输入名称和描述（可选）。
• 尽管无法在NVivo中保存查询结果，但是可以导出“编码比较”查询的结果，然后将其导入到其他应用程序（例如Excel）中。
• 如果在查询范围内包括“聚合”节点，则在该节点上编码的内容及其所有直接子级将包含在查询结果中。
• 要查看已编码的内容，请右键单击所选的行。您可以选择“打开节点”或“打开文件”以详细查看编码。

了解编码比较查询结果

1、包含正在比较的编码的节点。

2、文件名和文件夹位置。

3、文件大小，计算方法如下：

• 文档，数据集，备忘录和外部文档=字符数
• PDF =页数和字符数
• 媒体文件=持续时间，以分钟/秒/ 10秒为单位
• 图片=用高度乘以宽度表示的像素总数

4、Kappa系数-仅在选择Display Kappa Coefficient时此列才可用。如果用户完全同意，则Kappa系数（K）=1。如果评估者之间没有约定（除了偶然的期望），则Kappa系数（K）≤0。

5、绿色栏显示百分比一致性：

• 一致性列= A和B列与非A和非B列的总和
• A和B =由项目用户组A和项目用户组B编码到所选节点的数据项内容的百分比
• 非A和非B =项目用户组A和项目用户组B均未编码的数据项内容的百分比

6、红色栏显示不同意百分比：

• 分歧列= A和Not B以及B和Not A的总和
• A而不是B =由项目用户组A编码但未由项目用户组B编码的数据项内容的百分比
• B和非A =由项目用户组B编码但未由项目用户组A编码的数据项内容的百分比

百分比协议如何计算？

NVivo分别为节点和文件的每种组合计算百分比一致性。百分比协议是两个用户就是否可以在节点上编码该内容达成一致的文件内容的百分比。

例如，如果文件是具有1000个字符的文档，则：

• 这两个字符中的50个已由两个用户编码
• 这些字符中的150个仅由这些用户之一编码，并且
• 其余800个字符均未由任何用户编码

那么百分比协议的计算公式为（800 + 50）÷1000 = 85％。

对于其他类型的文件，此计算使用不同的单位代替字符。例如，对于音频和视频，度量单位是持续时间的秒数，对于图片，度量单位是以像素为单位的图像区域。

Kappa系数如何计算？

科恩的Kappa系数是评定者之间可靠性的一种统计量度，许多研究人员认为，该比率比达成百分比协议的数字有用，因为它考虑了可能偶然发生的达成协议的数量。

NVivo为节点和文件的每种组合分别计算Kappa系数。

如果两个用户对应在节点上编码文件的哪个内容完全一致，则Kappa系数为1。如果两个用户之间没有任何协议（偶然的期望除外），则Kappa系数≤0。0到1之间的值表示部分一致。

Kappa系数的计算如下。（请注意，此计算中使用的度量单位取决于文件类型。例如，对于文档，度量单位是字符，而对于音频和视频，度量单位是持续时间的秒数。）

• 通过求和，计算用户之间可能偶然达成协议的期望频率（ΣEF）：
• 用户A在节点上编码的文件内容的单元数乘以用户B在节点上编码的单元数，再除以文件中的单元总数（EF1）
• 用户A在节点上未编码的文件内容的单位数，乘以用户B在节点上未编码的文件的单位数，再除以文件中的单位总数（EF2）
• 偶然发生的协议的预期频率（EF）= EF1 + EF2
• 计算Kappa系数（K）等于：
• 两个用户之间的协议总单位（TA）减去偶然发生的协议的预期频率（ΣEF）除以文件中的总单位（TU）减去偶然发生的协议的预期频率（ΣEF）： K =（TA –ΣEF）÷（TU –ΣEF）
• 如果两个用户都完全同意应在节点上编码文件的内容，则Kappa的值将等于1

有关NVivo如何计算Kappa系数的示例，您可以下载“编码比较计算示例”电子表格。

Kappa的价值应如何解释？

解释Kappa值的一套大概准则是：

Kappa值	解释
低于0.40	一致性不佳
0.40 – 0.75	良好的一致性
0.75以上	优秀的一致性

为什么我的Kappa低？

因为Kappa系数计算考虑了用户之间偶然达成一致性的可能性，所以即使百分比一致性较高，Kappa的值也可能很低。

例如，如果任一用户尚未在节点上对文件的大部分进行编码，但是每个用户已在节点上对文件的小部分进行了完全不同的编码，则用户之间的百分比一致性将很高。但是由于这种情况很可能是偶然发生的（即，如果两个用户都随机编码了一小段），则Kappa系数很低。

相反，如果任一用户尚未在节点上对文件的大部分进行编码，但是每个用户都在该节点处对文件的几乎相同部分进行了编码，那么用户之间的百分比一致性将再次很高。但是这种情况极不可能偶然发生，因此Kappa系数也很高。

这些例子说明了为什么许多研究人员将Kappa系数视为评估者间信度比百分比一致性数字更有用的度量。

负Kappa系数是什么意思？

Kappa系数小于或等于零表示两个用户之间没有达成一致性（偶然的期望除外），节点上的文件内容可以对此进行编码。

我所有的卡伯系数均为0或1，这是什么问题吗？

这最可能表示被比较的两个用户之一尚未在所选节点上对任何所选文件进行编码。

在“编码比较”查询结果中：

• 如果列“ A和B（％）”以及“ A和非B（％）”都完全为零，则用户A尚未在所选节点上编码任何文件
• 如果列“ A和B（％）”以及“ B和非A（％）”都完全为零，则用户B尚未在选定节点上编码任何文件

如果用户的工作是从另一个NVivo项目导入的，则可能表明该用户的编码未正确导入，需要重新导入。

在NVivo中使用“导入项目”功能导入编码时：

• 请确保为重复项选择“合并到现有项”选项
• 选择要导入的数据时，请勿选择“已选择（不包括内容）”选项
• 如果选择“已选择（包括内容）”选项，请确保在“导入选项”对话框中选择导入“编码”。

计算多个文件或节点之间的一致性？

NVivo为节点和文件的每种组合分别计算Kappa系数和百分比一致性。但是，编码比较查询的结果可以从NVivo作为电子表格导出（使用“导出列表”命令），以允许您执行进一步的计算。

如果要为多个文件中的单个节点或多个文件和节点计算平均Kappa系数或百分比一致性，则需要考虑如何在计算中对不同文件加权。例如，您要平等对待每个文件，还是要给大文件比小文件更多的权重？

有关如何从NVivo导出的“编码比较”查询结果中计算平均Kappa系数和百分比一致性的一些示例，请下载“编码比较计算示例”电子表格。该电子表格包含四个示例（使用电子表格公式计算的平均Kappa系数和百分比一致性）：

• 3个文件中单个节点的平均数据（平均加权每个文件）
• 3个文件中单个节点的平均数字（根据文件大小对每个文件加权）
• 3个文件中5个节点的平均数字（平均加权每个文件）
• 3个文件中5个节点的平均数字（根据文件大小对每个文件加权）

如果您的项目具有不同类型的文件（例如，文档和音频），则可能需要进一步考虑如何加权这些不同的文件（因为文档大小以字符为单位，而音频大小以秒为单位）。