）对统计方法的思考

转自林达华

2010-05-19 19:58:08|  分类： 研究笔记|字号 订阅

原文名为：

Homework? Review paper for Science

今天作业的一部分，是以Science的reviewer的身份去review一篇文章，并攥写review报告。

这篇文章是已经在1996年发表于Science上，标题非常有趣：

Statistical Learning by 8-Month-Old Infants

大家可以非常容易在google上找到这篇文章的全文。

文章指出一个一个很值得思考的心理学实验结果：一个很小的婴儿，只需要听上两分钟的连续语音，就能形成对以后听到的连续语音进行有效分词的能力。

这篇文章阐述的是在语言学习方面的结果，而事实上，在所有智能领域，我们都可以看到类似的观察。比如在Vision，人们都没有经过系统的可控的物体识别训练，但是却非常容易获得在复杂的世界上对对象进行迅速的分割，识别，以及获取其它方面信息的能力，而目前computervision的能力在最简单的可控实验中依旧举步维艰。

人类只需要很少的训练的情况下能够迅速获得非常灵活有效的“模型”去应对充满变化和干扰的实际输入，而计算机学习算法通过在大量样本训练，也很难接近哪怕是婴儿的水平呢？人类的学习机制和目前人工智能研究所采用的方式究竟有什么不同？

现在统计学习领域百花齐放，但是，大部分的方法，无论formulation有多大的数学上的差别，基本上都是让一个具有某种结构的model按照某种准则去"fit"训练数据，通常还加上某种复杂性的约束。不过，很难想像人类是使用类似的方法从现实中学习的。我们每天感受到的是一个不断变化，各种要素充分融合的世界，没有分离的“训练数据”去学。我们的大脑能够理解非常复杂的东西，但是我们所接触的“训练集”按照经典统计学系理论的观点是无法支持这种复杂性的。虽然，我们经常会犯被观察所误导的错误，但是，相比于机器学习算法，我们overfitting的机会和程度远小得多。

我相信，我们的学习过程远比目前所有的机器学习算法聪明得多，绝不仅仅是observed->fitting这样的统计形式。AI的主要领域的研究现在过分依赖于统计建模，可是统计有它固有的瓶颈。早在Vapnik他们建立统计学习基础的时代，已经明确告诉了大家，统计学习受到复杂性的根本制约。因此，统计学习本身并没有足够能力到达人工智能的目标。相对于人类真正的智能来说，统计所能产生的智能只能认为是一种非常初级的形式。

从rule-based的专家系统到神经网络，再到统计学习，AI几十年内经历了几次大规模方法论更新的浪潮，但是是不是离真正的智能越来越近了呢？我们究竟是不是走在一个正确的方向上？