关于实验常用验证方法

在科研工作中，常常需要对某些结论、或者待验证理论进行非常重要的验证工作，即以数据说明该方法的可用性。

本文主要从宏观角度总结一下用到的验证方法，不全之处，望有识之士指出，以便本文的更新完善。

情况1. 在已有数据中，包含要实验得到的信息。如在积累大量bug信息数据的情况下，要预测bug的修复时间。

    常常采用划分数据集为训练集和测试集方法。以测试集进行验证。

情况2.在已有数据中不包含要得到的信息，但可进行人工分析得出结论。例如，大量无标示文本聚类效果分析。

   此时处理较为麻烦，但有以下几种方法进行处理：

    a.人工标识文本所属类别，并采用训练集和测试集方法进行验证。

    b.随机抽样验证，根据样本效果进行判定整体预测效果。

    c.已公认准确率非常高的方法的实验效果进行比较，以准确率较高方法为基线，进行验证。

情况3.在已有数据中不包含要得到的信息，并且进行人工分析得不出明确或公认的结论。例如各种翻译软件的翻译结果的准确率等。

  这个暂时未得到解决思路，望大家给与建议。