展望：从深度学习进展到通用学习机

【首先声明，本文仅用于对通用学习机有真诚兴趣的朋友之间的交流】

    前几天写了一个短文“究竟深度学习在干什么？” （文章的微信链接：本微信公众号历史中2017年11月15日专题文章或http://www.sohu.com/a/205257734_680233）。发表后，很多朋友参与了讨论。谢谢大家。文中提到了展望比深度学习更高效的机器学习——通用学习机。现在我们来对通用学习机做一些更具体的展望。

············

什么是通用学习机

    通俗地讲，通用学习机就是可以自主学习任何东西的机器。这样讲当然对。但是，究竟不是精准的定义。完全精准的定义，请参考我的英文原文，链接在这里。http://arxiv.org/pdf/1706.00066.pdf 也请参考中文翻译，链接在这里：（详见本微信公众号历史中2017年11月15日专题文章或http://www.sohu.com/a/205257734_680233）

    不过，我们可以不失精确但又比较通俗地说：通用学习机就是这样一个计算机系统，它不需要人工的干预，只要有数据，就可以高效能学习，学会数据里面隐含的东西。尤其，不需要像深度学习那样，需要预先人工搭好一个模型，才能学习。

    我们将采用这个比较通俗的说法。但是，我们还是要附加一句：有对空间图式（如指纹）学习的，有对时序图式（如语言）学习的。最初阶段，集中精力做对空间图式的学习机更有利一些。

············

为什么要考虑通用学习机

    那么为什么要考虑通用学习机呢？深度学习不是也是这样的吗？只要有数据，就可以学会数据里面隐含的东西？

    这个问题问得非常好。的确，我们需要首先解答这个问题。

    但是，这个问题也好解答：明确说，现有的深度学习框架并不能做到：“这样一个计算机系统，它不需要人工的干预，只要有数据，就可以高效能学会数据里面隐含的东西，尤其，不需要预先人工搭好一个特定的模型，就能学习”。正因为深度学习做不到，我们才要展望通用学习机。

············

通用学习机和现有深度学习的区别

    那么究竟深度学习和通用学习机有什么根本的区别呢？
    1. 通用学习机获得并将继续获得更多的理论指导，而现有的深度学习的理论指导严重不足。
    2. 深度学习没有一个明确的内部表征空间，使得不能清晰简明地表达X-形式。而通用学习机有一个清晰简明的内部表征空间。
    3. 因为没有明确的内部表征空间，深度学习很难做动态结构调整。如果采用人工干预，当然是可以调整结构的。但是那样就又有了许多困难。相反，通用学习机从一开始就是可以自动地动态调整内部结构的。

    因为这些区别，使得通用学习机具备若干优势，这里对这些优势做一些简单的描述，可能很不全面：
    1. 因为具备良好的表征空间，可以对通用学习机的行为作出完全的解释和达到完全的控制（即所谓的XAI，这是急迫需求）。
    2. 通用学习机本身具备很强的信息处理能力，而且这种能力既可以用编程来赋予，也可以用学习的方法来赋予，更可混合赋予。深度学习很难做到。
    3. 可以采用多种学习策略和学习方法，完全可以采取和现有深度学习相同的方法（即嵌入巨大参数空间，并且导入求极值的动力学），也可以采取现在无法企及的方法（如，在充足支持的数据驱动下，逐级提取抽象），还可以采用教学灌输的学习方法。
    4. 可以很自然容纳5种不同的学习方式一起使用（即：逻辑推导或者符号方式，连接主义方式，概率方式，进化论方式，联想方式），深度学习很难达到这样的自然容纳。因此可以比较有效地做无监督学习。可以用较少的数据学到较多的东西。
    5. 可以比较有效地利用以前的学习结果，缩短学习的时间和需要的数据。不需要于人工预设一个模型，然后才能学习。
    6. 完全有条件做到低功耗，低计算资源消耗，因此做到嵌入系统中去。
    7. 具备很强的拓展潜力。综合而言，有潜力成为把信息处理和学习集成为一体的新一代计算的基本框架。

    根据这些优势，通用学习机就比深度学习更高一个层次。

············

能够做出通用学习机吗？

    通用学习机很好，但是，能够做出吗？我们明确回答能。但是为什么呢？

我们的回答是：首先，通用学习机的确存在于世界上，在生物世界里面就有很多，我们不用怀疑其存在，需要的是用电子计算把存在的复制出来。其次，我们已经证明了一些定理，说明能够构建通用学习机。请参考文章：http://arxiv.org/pdf/1706.00066.pdf 也请参考中文翻译，链接在这里：本微信公众号历史中2017年11月15日专题文章或http://www.sohu.com/a/205257734_680233

    那么应该怎样来构建通用学习机呢？

············

怎样做通用学习机？

    从比较广泛意义上讲，我们需要做这些事情：
    1. 研究X-形式的数学理论，以及相关的理论，让我们有更坚实的理论基础。对此，我们已经做了一些初步研究。这些初步结果已经产生了重要作用，例如规定了数据充足性，使得我们对数据有了比较清楚的认识。X-形式是一个大研究领域，需要更多的人来参与。

    2. 研究和发明通用学习机的策略和方法。我们已经发明了一些学习策略，可以做来做通用学习机。还需要开发更多的策略，以及各种学习方法。

    3. 具体实现通用学习机。实现通用学习机的一个核心就是发明实现内部表征空间的方法。我们预估这样的方法肯定不唯一，肯定可以有多种方法。我们已经发明了一种方法，并且申请了专利。欢迎大家一起来发明。具体实现的方法，可以是软件的，也可以是硬件的，当然也可以软硬件结合。如果有硬件的通用学习机，应该可以更好做低功耗的学习。

    4. 应用到具体的问题。我们需要把通用学习机用到具体的问题中，产生好的效果。例如，可以做机器视觉的问题。通用学习机，因为具备通用性，完全可以做出一些通用的视觉模块（如察觉边界），而把这些模块让其他的程序使用，这样就有了一些具备极高商业价值的项目。

    5. 向高价值的商业场景进展。通用学习机不仅和学术相关，更是具备高度商业价值的项目。在通用学习机初步成功的基础上，自然会向商业场景发展。这样的进展也将帮助通用学习机走向更广阔的空间。

上面的这些方面，都需要有人来做。一个关键点是在3，就是利用已经有了理论和方法，来做出有效的通用学习机。

············

通用学习机的用途

    现在发散思维一下，说说对于通用学习机的用途的一些想法。通用学习机肯定可以用于非常多的领域。我们相信，如下是可以比较快的应用起来的领域：

    1. 各种模式识别，如在卫星图中自动识别某种模式，又如虹膜识别，等等
    2. 大数据分析，不需要预先的设定就可以进行大数据分析，而且分析结果可以有良好充分的解释
    3. 无监督学习，以及用较少的数据得到更好的结果
    4. 把机器视觉和自然语言处理推向更高的境界
    5. 低能耗的学习机（如自动驾驶，机器人）
    6. 利用以往的学习结果而继续学习。因此可以产生一个新的产业领域，即销售学习机模块，这些模块已经学习过，具备某种特定功能。这样，其他的学习机，在配备了这样的模块后，学习效率就极大提高了。

    但是，我们认为，还有更多的领域：
    1. 在相当多的领域内（如机器人控制，自动驾驶，大型控制软件，等等），逐渐用对机器进行教学的方式来取代编程。
    2. 和更高层次的人工智能（如AGI）做良好的联系，并且成为这些领域的重要工具。
    3. 向上联系到哲学层次的工作，如机器认识论，各种逻辑，等等，并且与之共同发展。
    4. 用于各种科学领域，成为这些领域内的科学家的探索工具，乃至于思考工具（不仅仅是资料准备，数据计算和呈现，而是的的确确参与思考，成为他们思考的有机组成部分）。

    我们相信，随着工作的深入，我们将看到更多的用途。

·········

通用学习机目前的状况

    通用学习机建立在机械式学习的理论基础上，建立自己的独到的表征空间，并且建立自己的学习策略和学习方法，已经从理论上证明，通用学习机可以学习任何外界图式（pattern），不用人工干预，仅通过外界提供适当数据，不必是大数据，仅是足够数据，就可以促使通用学习机学会对特定信息的处理能力。

    通用学习机尚在发展的最初期。对未来我们未必就完全清楚。但是我们有充分的理由来相信，通用学习机将和上个世纪40年代的通用计算机（即冯·诺依曼提出的计算机，也是现在所有计算机的基本框架）一样，有远大的前途，甚至于，通用学习机将成为新一代计算的基本框架。对这样新一代的计算系统，其处理信息能力既可以通过编程来赋予，更可以通过学习来赋予。这样的新一代计算系统，将最终超越现有的计算系统。

通    用学习机可以有多样的具体实现方式。我们已经发明了一种具体的实现通用学习机的方式。请查看中国国家知识产权局的专利申请号：201710298481.2。这个具体发明中设计的表征空间，具备实现极低功耗的特征，因此有可能引入新的硬件的发展。

    通用学习机需要更多的工作，需要更多的发明。欢迎有更多的朋友一起来探索理论，发明方法，构建系统，促进应用。欢迎对通用学习机有真诚兴趣的朋友的反馈，特别是数学高手和底层程序编程高手。

我的微信号为：

niuyuelaoxiong，请联系。谢谢大家。

    深度学习取得了巨大的成功，这是无容置疑的。对此，我们不必再多说什么。但是，其理论基础仍然有很大的空白。例如：究竟深度学习在做什么？为什么可以学习很多东西？这些问题极为重要。但是直到现在，仍然众说纷纭，没有定论。

    我最近写了一篇文章来讨论这个事情。文章题目是：What Realy is Deep Learning Doing? 翻译成中文就是：究竟深度学习在干什么？英文原文的链接（请大家查阅）：https://arxiv.org/pdf/1711.03577.pdf ；中文链接是：本微信公众号历史中2017年11月15日专题文章或http://www.sohu.com/a/205257734_680233

    这里是我在一个微信上写的短文，用中文把原文的想法从新写一遍，希望更容易理解一些。由于这里写数学公式不方便，就尽量不采用数学公式，仅用文字说明。请有兴趣的读者查看原文。欢迎大家联系做更深入讨论。

    我的微信号是：niuyuelaoxiong，欢迎联系！