科研如何设计实验？（计算机专业）

科研实验可以看成数学建模过程中的模型检测部分内容。

1   科研实验是什么？

      设计一个科研实验是为了清晰准确地表现出我们所要表达的思想，验证我们的设想。其它一切都可以放弃。一个比较完整的设计实验方案的执行，就是科学探究中解决问题的过程，一般包括以下内容：1、选题  所从事的本项实验的课题源于对某一自然现象的观察、认识、分析。这就需要其认真阅读文献，进行总结分析；2、假设  即对可见现象提出一种可检测的解释。根据其认识进行假设；3、预期结果  在检测一个假设之前，先提出实验的预期结果。如果预期没有实现，则说明假设不成立，如果预期得到实现，则假设成立。

比如对于计算机专业来说，针对某个问题提出某个新算法A，那么如何设计对应的实验呢？目前见到的有

1  对照实验：直接将该算法A的结果对比其他经典、新算法B/C/D等，在同样的假设条件下和公共指标上进行实验。

2 参数设置（参数的容忍度）：将该算法A和其他算法B在一些参数上进行实验。比如以准确率为指标，实验该算法A和其他算法B在某个参数m上的准确率变化。在这里如何在实验结果上解释各种算法的表现就靠你对各种算法的理解了。

3 实验场景（应用场景）：每种算法在各种实验场景下表现都可能有比较大的区别，有些就比较适合某种场景。那么各种算法在各种实验场景下的区别，比如我的方向类似图论，那么研究各种算法在各种类型图（标准网络和真实网络）上表现就是一个实验设计需要考虑的东西。

1.1 需要遵循的原则

• 对照原则： 比如当前比较主流、经典的方法，在相同条件下对比。
• 随机原则：
• 重复的原则： 做多次取平均值有代表意义。
• 均衡的原则

 

1.2 科学实验设计的基本步骤

• 观察:用计算机去模拟，去画图看看实践效果，比如研究准确率指标和算法中某个因素的关系。
• 解说:将从观察得的事实,加以解释。为什么会出现这样的实践结果？
• 预测:根据假说引申出可能的现象。  预测可能会出现的结果？
• 确认:透过进一步的观察和实验去证实预测的结果。  
• 评估:根据经验和结果主观地评比或下结论。  根据实验结果下结论，在什么情况下，会发生什么？
• 发表:公布成果。发表有很多形式,如投稿或发表会等。 

1.3 科研实验设计常见错误

   

• 研究的课题没有阳性和阴性对照组，比如某个提出的算法去做一件事情，和随机算法去做一件事情。
• 缺乏随机组。
• 缺乏双盲的研究。
• 样本数量太少。
• 观测指标或样本错误。
• 错误问题。
• 错误分析统计。（数量要大才有统计意义）
• 缺乏一个具体假说,或过分热衷于数据采集。  （没有假说，只有数据来验证是不太好的）
• 缺乏理论依据。（在某种假设下，为什么会出现这样的结果？）
• 没有引用国际的标准或指标进行评估