大模型无关真理，实践才是

---

前言

假设此时此刻面对一个无法输出的检索问题或者一个效果较差的神经网络模型，大多数情况下我的本能反应告诉我，接下来要增加检索的时间和次数、添加多一些的网络层数和参数等等。

这并不是逃避问题的表现，反而贪婪策略在约束较少的情况下往往是收敛较快的策略，也往往是被试的第一种策略。事实上，让模型变得更大更复杂自人工智能在达特茅斯诞生之初就始终伴随着它的成长。

---

符号智能

紧跟着人工智能概念一起诞生的符号智能催生了最早起的智能实践：专家系统，它运用知识和推理来解决只有专家才能解决的复杂问题。

专家系统中最关键的因素在于人为标定的知识与经验，更像是含有“接口”的专业数据库，随着逻辑规则的制定与领域的划分，就不得不逐渐提升先验数据的数量与规模来加快收敛速度与精度。问题是显而易见的，实践中并非所有领域或所有问题都具有足够的先验经验，而且模型规则在增加的同时让逻辑维护也变得愈发艰难，故而如今的专家系统变成了一种更广义的概念。

在数据处理能力远落后于理论速度的情况下，1965年，L. Z. Zadeh教授发表了关于“模糊学”的第一篇论文，站在“专家系统”大量数据的肩膀上，一种面向实践的理论诞生了。模糊控制舍弃了传统的高精确数学模型建立，将数字量转化为模糊量，进行模糊推理后再转化为可接受的精确量，整个过程模拟了人类决策过程，是一种对“大模型”专家系统的简化，也是以仿生实践模拟为基础的联络主义的开端。

1974年英国工程师E. H. Mamdani成功用模糊理论对蒸汽机与锅炉进行了控制，靠着比传统控制算法更小的数据量，取得了更好的效果，而模糊理论则自此游曳于整个人工智能发展的长河中。

计算智能

同样的，联络主义发展下的大量优化算法如遗传算法（GA）、粒子群优化算法（PSO）等等，也在经历相似的过程。

以在移动机器人平台使用的GMapping算法为例，由基于粒子滤波的建图算法改进而来。粒子群滤波算法在理论上非常适合小范围建图这类随机搜索问题，在小范围状态空间中创建随机样本，用样本均值代替积分运算并约束，依据后验概率迭代样本，样本就是形象的“粒子”。

课程实践下不出所料，更多的粒子可以获得更好的结果，虽然说粒子数量增加会带来粒子散耗问题和陷入局部最优解，但可以通过改进提议分布和选择性重采样来解决，这也是GMapping的主要改进和广受欢迎的原因，但，是在小场景建图时广受欢迎。

事实证明，由于每个粒子都携带一副地图，在构建大地图时所需内存和计算量都会增加，并且没有回环检测，地图可能因此无法闭合。实验下，增加粒子数目可以使地图闭合，但对比消耗的内存与计算量显然不太值得，这也是它只广泛存在于实验室的原因。

机器学习

联络主义的大爆发就是基于神经网络的机器学习、深度学习快速发展的阶段，深度学习下典型的卷积神经网络则持续为大模型思想开疆扩土。AlexNet多达6亿个参数和65万个神经元，令人惊叹，并且AlexNet作者经过实验发现去掉一层卷积层准确度就会减少2%，似乎更加证明了更大更深就是王道，但实际上AlexNet作者花费了大量时间设计将模型切分到多个GPU上训练，GTX５８０实在难以加载整个网络。虽然在课程实践中GTX1050Ti已经可以轻松训练VGG19这个更大的模型，但这不应该成为限制模型发展的绊马索。

正如模糊控制之于专家系统，GoogleNet另辟蹊径，采用不同的卷积核组合来降低参数量，从而加深网络，但随着深度的增加却出现了梯度消失带来的问题，ResNet则提供了残差网络解决的办法，但是参数量却又与AlexNet达到了一个等级，深度更是多达几百层，紧随其后的DenseNet则加入了“经验”，强化特征传播和特征复用，减少了参数的同时减轻了对内存和计算资源的依赖。

课程学习中了解这段快速而波澜壮阔的神经网络发展历程时真的令人心潮澎湃，在开源的便利下，动手处理肺炎影像分类任务时重走这段历程也受益匪浅，但从理论到落地想来也不可能如此顺利，果然在角膜地形图匹配塑形镜任务中很快碰壁，过少的数据集让就算迁移学习成功率最高的VGGNet都无能为力，在尝试对地形图使用传统机器学习方式预训练等方式建模后，所幸效果差强人意，此时就显现出对实际数据的建模能力和抽象独立出深度学习问题的实践能力的重要性了。

---

总结

现在的“人工智能”的概念有别于想象，是指用计算机模拟或实现的智能。随着计算机依摩尔定律发展，不断地提升算力，出现更大更复杂的模型是必然且必要的。正如贪婪策略被第一个尝试是因为更好设计改进实验一样，理论中再优秀的模型都不是最好的解决实际问题的办法，实践尝试与AI落地才是。