分类精度评价

 转自：http://blog.sina.com.cn/s/blog_95f4ca670102v9rs.html

易康Developer软件中提供的【Error Matrix based on TTA MASK】和【Error Matrix based on Samples】两种精度评价方式，前者是一种基于像素的精度评价，通常情况是将验证样本的点文件或面文件以矢量专题数据的形式导入后转化为评价样本，后者是基于对象的精度评价，可以直接选择分割对象作为评价样本（如果已经有分类样本了，那么需要将它们删除后再选择评价样本）。这两种方式的分类精度评价指标是一样的，因此在这里简单介绍下各种指标的具体含义。

       如图1所示，精度评价结果包括了三部分，分别是混淆矩阵、单一类别的精度分析结果和总体类别的精度分析结果。利用混淆矩阵可以了解每一种类别的样本总数、错分及漏分的样本数量；单一类别精度分析包括5种指标；总体类别精度分析包括2种指标。

                                                                     图1 精度评价结果示例
       【Producer】-称为生产精度或者制图精度，表示在所有实测类型为第i类的样本中（混淆矩阵的某列），被正确地分类也是第i类的样本所占的比例。与制图精度对应的是漏分误差，即漏分误差=1-制图精度。

       【User】-称为用户精度，表示在被分类为第i类的所有样本中（混淆矩阵的某行），其实测类型确实也是第i类的样本所占的比例。与用户精度对应的是错分误差，即错分误差=1-用户精度。

       【Heddlen】-依据制图精度和用户精度计算得到的结果，计算公式参照图2。

       【Short】-依据制图精度和用户精度计算得到的结果，计算公式参照图2。

       【KIA Per Class】-表示各个类别的条件Kappa系数。

       【Overall Accuracy】-表示总体分类精度，即在所有样本中被正确地分类的样本比例。

       【KIA】-表示Kappa系数，与总体分类精度不同，Kappa系数利用了整个误差矩阵的信息，它通常被认为能够更准确地反映整体的分类精度。但是需要强调的是，只有当测试样本是从整幅随机选取的时候Kappa系数才适用。

                                                              图2 精度评价指标计算公式
       总体分类精度和Kappa系数反映整个图件的分类精度，条件Kappa系数则反映各个类型的分类精度。研究认为，Kappa系数与分类质量的关系下表所示。

       当然最后需要强调一点，误差矩阵及其衍生出来的这些评价指标也存在若干不足，例如不能反映出误差的空间分布情况，不利于分析误差来源；训练样本和测试样本都属于单个类别，不能用于模糊分类或者软分类。因此易康软件中也提供了针对模糊分类的另外两种精度评价方式。