【AI学习】 “蛋糕”的启发

昨天，因为写报告，在各种搜索资料中，意外的找到了那个“著名的蛋糕”——来自《预测性学习，NIPS 2016》。Yann LeCun 在这个2016年的演讲中，提出了无监督学习作为大规模 AI 模型架构的基础模型。

LeCun用蛋糕来比喻机器学习，监督学习和强化学习分别比作是蛋糕的糖霜和樱桃，而无监督学习则就是蛋糕本身。我们知道如何得到糖霜和樱桃，但不知道怎样做蛋糕。——七年后，人类终于知道了如何做蛋糕：）
报告中，在著名的蛋糕的前面，还有一页PPT，Yann LeCun说明了思维灵感：
“我们期望机器回答的信息越多，所需的训练样本数量就越大。
大脑有 10^14 的神经突触，而我们的生命只有 10^9 秒。我们拥有的参数的量远超 数据的量。这就激发了一种想法，即由于感知输入（包括本体感觉）是唯一能每秒得到 10^5 个维度的约束的地方，我们必须要做很多的无监督学习。
预测人类提供的标记是不足够的。
预测一个价值函数也不足够”。

人类的感知输入包括视觉、听觉、触觉、味觉以及嗅觉，这些感知输入帮助人类感知和理解环境中的各种信息和刺激。
怎么理解Yann LeCun的这段话呢？我想，大概是说：人的一生能学习的数据的量级（应该是通过教育这种有意识的学习，类似有监督的数据）远低于大脑的神经元数量，那就意味着更多维度的数据是在无意识中学习的，这些学习就是感知的学习，这种无意识学习就对应于无监督学习。
这让我进一步想：大模型是否有另外一种可能？类似于大脑的架构，视觉、听觉、触觉、味觉以及嗅觉分别对应一个专业大模型，而大脑需要有意识学习的部分作为一个单独的认知模型在中央控制。未来的大模型是否可能是这种架构，一个中央控制的大模型，控制着各种执行特殊任务的专业大模型，形成一个更加复杂的分布式模型架构。相对应的，各个专业大模型，需要更多的广泛的数据，形成基础的功能单元，就像从各种动物到人类，眼睛的结构和功能非常近似，大概绝大部分动物的眼睛都是从同一个祖先的眼睛进化而来。而中央控制模型，更需要高质量的数据，也只有中央控制模型需要类似RLHF的对齐操作。这种架构是否可以简化SFT和RLHF工作，形成新的思路？

之前刷到一篇论文，好像是说，生物的眼睛每秒要处理的数据量极其巨大，对比来说，现在自动驾驶的图像处理模型的数据处理效率是远低于生物的，所以应该考虑一种类似于生物眼睛的神经网络架构。想再看看那个论文，找了半天，死活找不到。