深入浅出数据分析 - 假设检验

5 假设检验 – 假设并非如此

开篇之言：证伪法是一种切实有效的非直觉方法。

本篇通过一个案例讲解了如何从毫无头绪的信息中，一步步地通过信息整合、信息相关性分析；最后利用证伪法去推翻假设，获取到最接近真实的答案的。

本文提到两个方法：

        证伪法、满意法

问到了两个问题：

                统计学中的假设检验与证伪法的区别？

               证伪法同优化法的区别？

提到了四个知识点：

               正相关、负相关、异质数据、诊断性

5.1 案例

“电肤”公司是一家生产手机皮肤的制造商，需要弄清楚手机巨头PodPhone公司下个月是否出一款新手机，从而决定是否在手机发布之前的一个月开始生产手机皮肤，抢占市场份额。

5.2 难点

这个案例分析的难点：PodPhone总是出人意料地发布产品，他们完全不希望别人得知他们的意图；这就导致“皮肤”公司获取到的资料信息是不全面的，同时，信息的真实性也有待商榷。

5.3 解决方案

将各种假设条件、证据同PodPhone的心智模型整合到一起，利用某种方法（证伪法）,剔除最不可能的假设后，再通过观察诊断性对证据和假设进行比较。看看哪种假设具有最强的证据支持。这条假设就是你的最终结论。

5.4 证伪法

证伪：请勿视图选出最合理的假设，只需要剔除无法证实的假设---这就是假设检验的基础“证伪”。

否证法（method of falsification），亦称“证伪法”。用个别经验的事实否定科学理论普遍陈述的方法。

如“凡天鹅皆白”这个普遍陈述，不能因曾看到大量白天鹅的经验而加以肯定，却能因曾看到个别的黑天鹅而予以否定。

5.5 满意法

选出看上去最可信的第一个假设的做法称为满意法。

满意法的严重问题是，当人们在未对其他假设进行透彻分析的情况下选取某种假设时，往往会坚持这个假设，即使反面证据堆积如山，也往往视而不见。证伪法则让人们对各种假设感觉更敏锐，从而防止掉入认知陷阱。

进行假设检验时，要使用证伪法，回避满意法。

5.6 假设检验法

假设检验(hypothesis testing)，又称统计假设检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。显著性检验是假设检验中最常用的一种方法，也是一种最基本的统计推断形式，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。常用的假设检验方法有Z检验、t检验、卡方检验、F检验等。

5.7 诊断性

诊断必是证据所具有的一种功能。能够帮助你评估所考虑的假设的相对似然；如果证据具有诊断性，就能帮助你对假设排序。

借助诊断性找出否定性最小的假设。

只要证据能够帮助你按照强弱程度对假设进行排列，它就具有诊断性。

进行假设检验时，重点是要识别和找出诊断证据，非诊断证据不会给你带来任何进展。

“+”表示证据支持假设；“—”表示证据不利假设；

操作流程：

1、列出证据与假设表格，以行列方式

2、说出每一条证据是支持还是反对每种假设；支持在相应维度表格中画“+”，不支持在相应维度表格中画“—”

3、划掉不具有诊断性的证据

4、在证据表中加入新证据；确定新证据的诊断强度

5.8 证伪法与统计学上的假设检验有何关系？

在统计课上学过的一种对候选假设（备择假设）和基准假设（原假设）进行比较的方法，其目的是识别出一种情况：如果这种情况为真，则原假设几乎不可能成立。

这种方法有一个优点，能让你把品质各异的异质数据综合起来，这是非常普通的证伪法，对于复杂的问题非常有用。但是，定下心来使用上述频率论者假设检验方法肯定没错，因为对于数据与参数相吻合的检验，你是不会想用别的方法的。

5.9 使用证伪法解决问题和使用优化法解决问题有何差别？

两者是适用于不同的情况的不同工具。在某些情况下，你希望冲进”Solver”调整变量，直到得到最优化数据；在另一些情况下，你希望使用证伪法来剔除对数据的其他可能解释。