随想：人工智能与深度学习

人工智能与深度学习

我来提一个观点，这是基于目前深度学习超参数调整的想法来的

人类认知的发展分为两个阶段

1.大脑作为一个发育中的神经网络，其整个神经元大小是在成长初期逐渐调整的，我们可以理解为超参数的调整。例如，神经元的数量，神经元的层数，这是根据给出的环境做基本的训练

训练方法是无监督自我学习特征，给予一个有监督微调。就像一个小孩子，在一开始什么东西都愿意触摸学习一下，对世界充满了好奇心。

在这个阶段，深度学习主要进行对超参数的调整和模型中主要权值从随机初始值开始的调整。

2.大脑作为一个完善的神经网络，已经学习得到了关于世界的基本认知，也就是建立了一个世界观，对比人类也就是大约十几岁。

这个时候模型的基本超参数已经确定下来，模型中的隐层也已经习得了世界的基本特征，超参数的基本训练已经结束。

第二阶段主要是有监督学习，并且是结合了已经掌握的世界特征而进行的末端学习。一方面，人已经不再表现得对世界的无穷无尽的好奇心，而是对待一些问题开始潜意识处理，而对待某些未知领域（搞不定）的问题存有好奇心。

这一阶段的另一个特点是，基本世界观已经构建，之后的学习是基于对已经掌握的世界特征的反复组合。也就是基于经验的学习。这个阶段如果要让一个人学习新事物，就必须让其连接过去已经构建好的经验知识，才能使其学会新的知识（也就是对旧知识的新的组合）。

在深度神经网络中，我们可以看出这就是一个微调和迁移学习的过程。

3.请注意反馈，反馈是最为重要的注意点。反馈就是建立有监督和无监督的基础。长期无反馈不能强化已经习得的知识。

4.通过了解人类的认知发展过程，可以帮助我们设计强人工智能。强人工制度如果基于深度学习，其学习过程必须是动态，而不是基于静态知识的。并且其架构必须是变化的。

因此我们必须关注 控制超参数训练如何引导？反馈机制如何引导训练？如何在无监督条件下训练初步的神经网络参数？如何有效地利用旧知识体系来构建新的知识？