为什么AI越来越像玄学

毫无疑问，AI大模型的发展已经超出了人类的理解能力，我们把大模型称之为“黑箱”，甚至因sora引起了大佬之间的舌战，有人认为sora懂物理世界，有人认为sora只会预测token，修改像素，但是为什么一个大模型能够操纵像素生成如此复杂场景的视频依然令双方费解。

机器学习的发展史

机器学习的发展史是一个漫长而多彩的过程，涉及了多个领域和技术的创新和应用。

• 推理期（20世纪50-70年代初）：这一时期的主要思想是认为只要给机器赋予逻辑推理能力，机器就具有智能。代表性的成果有A.Newell和H.Simon的“逻辑理论家”和“通用问题求解”程序，以及M.Minsky和S.Papert的《感知器》一书。
• 知识期（20世纪70年代中期）：这一时期的主要思想是认为要使机器具有智能，就必须设法使机器拥有知识。代表性的成果有E.A.Feigenbaum的“知识工程”和“专家系统”，以及T.Mitchell的“版本空间”算法。
• 学科形成期（20世纪80年代）：这一时期是机器学习正式成为一个独立学科领域并快速发展的时期，各种机器学习技术百花齐放。代表性的成果有决策树、神经网络、贝叶斯分类器、支持向量机、AdaBoost等。
• 繁荣期（20世纪90年代至今）：这一时期是机器学习得到广泛应用和认可的时期，统计学方法占主导，深度学习技术诞生并急速发展。代表性的成果有随机森林、梯度提升树、LSTM、卷积神经网络、强化学习等。

深度学习的发展史

神经网络的由来可以追溯到20世纪40年代，当时一些科学家提出了人工神经元的概念，模拟了生物神经元的结构和功能。1958年，Rosenblatt提出了感知器模型，是第一个能够进行学习和分类的神经网络。1969年，Minsky和Papert发表了《感知器》一书，指出了感知器的局限性，即只能处理线性可分的问题，不能处理异或等非线性问题。这导致了神经网络的第一次低潮。

1986年，Rumelhart等人提出了反向传播算法，使得多层神经网络可以通过梯度下降法进行有效的训练。这引发了神经网络的第二次高潮，出现了很多新的神经网络模型和应用，如Hopfield网络、玻尔兹曼机、自编码器、卷积神经网络等。但是，由于计算资源的限制，以及统计学习理论的发展，神经网络又逐渐被支持向量机等其他机器学习方法所取代。

2006年，Hinton等人提出了深度信念网络和贪婪逐层预训练的方法，成功地训练了一个深度神经网络，并在图像识别和语音识别等任务上取得了突破性的结果。 这开启了神经网络的第三次高潮，也就是深度学习的时代。随着计算能力的提升，数据量的增加，优化算法的改进，以及网络结构的创新，深度神经网络在各个领域都展现出了强大的性能和潜力，如图像生成、自然语言处理、强化学习等。

为什么深度学习能够一骑绝尘

深度学习神经网络能够在许多机器学习任务中取得优异的表现，主要有以下几个原因：

• 深度学习神经网络可以自动从数据中学习到合适的特征表示，而不需要人工设计或选择特征，这样可以减少人为的偏见和误差，提高模型的泛化能力和适应性。
• 深度学习神经网络可以利用多层的非线性变换，来拟合复杂的函数关系，表达更高层次的抽象概念，捕捉数据的内在结构和规律。
• 深度学习神经网络可以处理高维的数据，如图像、语音、文本等，而不需要降维或压缩，这样可以保留数据的完整性和信息量，提高模型的精度和效率。
• 深度学习神经网络可以利用大量的数据和计算资源，来训练更大规模的模型，从而提升模型的性能和能力。
• 深度学习神经网络可以借鉴和模仿人类的认知和学习机制，如注意力、记忆、迁移、元学习等，来实现更智能和灵活的机器学习。

当然，深度学习神经网络并不是万能的，也有一些局限和挑战，如训练难度、理解性、鲁棒性、可信度等，需要不断地探索和优化。

神经网络AI大模型难以理解

神经网络AI大模型难以理解的原因有以下几点：

• 神经网络AI大模型通常包含了海量的参数和层次，其内部的运算和信息流动非常复杂，难以用直观的方式来解释。
• 神经网络AI大模型的训练过程涉及了很多随机性和不确定性，如初始化、正则化、优化器、批量归一化等，这些都会影响模型的行为和输出，但很难量化和控制。
• 神经网络AI大模型的学习能力往往超越了人类的认知范围，它们可以从大量的数据中提取出隐含的特征和规律，但这些特征和规律可能并不符合人类的常识和逻辑，或者无法用人类的语言来表达。
• 神经网络AI大模型的输出往往缺乏可靠性和可信度，它们可能会产生错误的、不一致的、不可解释的、甚至有害的结果，但却没有给出相应的置信度或原因。

AI大模型优化越来越像玄学

大模型优化是指在训练大规模的深度学习模型时，如何选择合适的超参数、优化器、损失函数、正则化方法等，以提高模型的性能和泛化能力。大模型优化有时被称为玄学，是因为它往往缺乏统一的理论指导，而需要依赖经验、直觉、实验等，而且不同的模型和数据集可能需要不同的优化策略，很难找到一个通用的最优解。

大模型优化的难度和复杂度也随着模型规模的增长而增加，因为大模型往往涉及更多的参数、更大的数据量、更高的计算资源和更长的训练时间，这些都会给优化带来挑战。 例如，大模型可能会遇到梯度消失、梯度爆炸、过拟合、欠拟合、局部最优等问题，需要采用一些特殊的技巧和方法来解决，如学习率衰减、动量法、批量归一化、残差连接、注意力机制、数据增强、模型蒸馏、知识蒸馏等。

大模型优化的目标是找到一个能够在给定的数据集和任务上达到最佳性能的模型，但是这个目标并不容易实现，因为模型的性能受到多种因素的影响，如模型结构、数据质量、训练方法、评估指标等，而这些因素之间又存在着复杂的相互作用和依赖关系。 因此，大模型优化需要不断地尝试、调整、评估和改进，而这个过程往往没有固定的规则和步骤，而是需要根据具体的情况和目的来灵活地进行。

总之，大模型优化是一门既有科学性又有艺术性的学问，它需要结合理论和实践，运用创造力和逻辑思维，不断地探索和优化，才能找到最适合的模型和方法。 这也是为什么大模型优化有时被人们戏称为玄学，因为它往往需要一些不可预测和不可复制的因素，如灵感、直觉、运气等，而这些因素很难用科学的方法来解释和验证。