机器学习的五大学派

机器学习的终极算法 不需要在遇到每个问题时，都从零开始。这样的标准对所有算法都是太高了，而且它也不是人类所做的那样。例如，语言无法存在于真空中：如果没有该学科的相关知识，就无法理解一门学科。因此，终极算法可以依靠之前所学的东西来看、听、以及控制一个机器人。同理，科学家不会只是盲目的将模型和数据进行配对，他们会利用自己在领域的知识来解决这个问题。因此，当在生物学领域有所发现时，终极算法会首先阅读它所需的生物学知识，依靠的是之前就学会的阅读技巧。终极算法不只是被动地消耗知识，它可以和周围的环境进行互动，然后积极寻找它想要的数据，就像机器人科学家“亚当”一样，或者像所有探索世界的孩子一样。

在寻找终极算法的过程 是复杂且活跃的，因为在机器学习领域存在不同思想的学派，主要分为：符号学派、联结学派、进化学派、贝叶斯学派、类推学派。

符号学派： 所有的信息都可以简化为操作符号，就像数学家那样，为了解方程，会用其他表达式代替本来的表达式。符号学者明白你不能从零开始学习：除了数据，你还需要一些原始的知识。他们已经弄明白，如何把先前存在的知识并入学习中，如何结合动态的知识来解决新问题。他们的主要算法是逆向演绎，逆向演绎致力于弄明白，未了使演绎进行顺利，哪些知识被省略了，然后弄明白是什么让主算法变得越来越综合。

联结学派：学习就是大脑所做的事情，因此我们要做的就是对大脑进行逆向演绎。大脑通过调整神元之间连接的强度来进行学习，关键问题是找到哪些连接导致了误差，以及如何纠正这些误差。联结学派的主要算法是反向传播学习算法，该算法将系统的输出与想要的结果相比较，然后连续一层一层地改变神经元之间的联结，目的是为了使输出的东西接近想要的东西。

进化学派：所有形式的学习都源于自然选择。如果自然选择造就我们，那么它就可以造就一切，我们要做的，就是在计算机上对它进行模仿。进化主义解决的关键问题是学习结构：不只是像反向传播那样调整参数，它还创造大脑，用来对参数进行微调。进化学派的主要算法是基因编程，和自然使用有机体交配和进化那样，基因编程也对计算机程序进行配对和提升。

贝叶斯学派：关注的问题是不确定性。所有掌握的知识都有不确定性，而且学习知识的过程也是一种不确定的推理形式。那么问题就变成，在不破坏信息的情况下，如何处理嘈杂、不完整甚至自相矛盾的信息。解决的办法就是运用概率推理，而主要算法就是贝叶斯定理及其衍生定理。贝叶斯定理告诉我们，如何将新的证据并入我们的信仰汇总，而概率推理算法尽可能有效地做到这一点。

类推学派：学习的关键就是要在不同场景中认识到相似性，然后由此推导出其他相似性。如果两个病人有相似的症状，那么也许他们患有相同的疾病。问题的关键是，如何判断两个事物的相似程度。类推学派的主要算法是支持向量机，主算法找出要记忆的经历，以及弄明白如何将这些经历结合起来，用来做新的预测。

每个学派对其中心问题的解决方法都是一个辉煌、来之不易的进步，但真正的终极算法应该把5个学派的5个问题都解决，而不是只解决一个。例如，为了治愈癌症，我们要解决细胞的代谢网络：哪些基因调节哪些别的基因，由此产生的蛋白质控制哪些化学反应，以及将新微粒加入混合物中将会对网络产生什么影响。从零开始努力学习这些东西显得有点愚蠢，因为这种做法忽略了过去几十年生物学家苦心积累的知识。符号学派懂得如何将这些知识与来自DNA测序仪、基因表达芯片等的数据结合起来，并得出结果。只有知识或数据，是得不出这些结果，可是我们通过逆向演绎得到的知识都是纯定性的。要了解的不仅是谁和谁交互，还有可以交互的程度，以及反向传播如何做到这些。即便如此，如果没有某个基础结构，逆向演绎和反向传播将会迷失在太空中。有个这个基础结构，它们找到的交互和参数才能构成整体。基因编程可以找到这个基础结构。这时，有了新成代谢的完整知识，以及给定病人的相关数据，我们就可以为他找到治疗方法。但实际上，我们拥有的知识总是非常不完整的，甚至在有些地方会出错。即便如此，我们还是要继续进行，这就是概率推理的目标。在情形最困难的例子中，病人的癌症看起来与之前的癌症病例有很大不同，而我们掌握的知识对此也束手无策。基于相似性的算法会扭转大局，方法就是从看似有很大差别的情形中找到相似点，把重点放在相似点上，然后忽略其他不同点。