DeepAIedu的博客

在人工智能历史上发展最快、离生产力最近的阶段，便是从2023年开始的这两三年。2023年初，大模型技术的迅猛发展席卷了各行各业，尤其是到了2025年春节期间，火遍全国的DeepSeek更是成为了家喻户晓的名字。毫不夸张地说，连扫大街的阿姨都在问：“DeepSeek是干啥的？”这种现象不仅反映了人工智能技术的普及，也体现了大模型对社会各阶层的深远影响。以DeepSeek为代表的各类大模型，正在国内政府机构、高校、企业中掀起一场浩浩荡荡的应用浪潮。

随着产品的不断迭代和技术成熟度的提高，人形机器人的应用场景正在从专业领域向更广泛的消费市场延伸。除了传统的工业和服务场景外，越来越多的家庭开始考虑引入家用型人形机器人来协助日常家务劳动或陪伴老人儿童；此外，在教育、娱乐等领域也有望看到更多创新性的应用出现。例如，一些学校已经开始尝试使用人形机器人作为编程教学工具，激发学生对科学技术的兴趣；而具备情感识别能力的机器人则可以为用户提供个性化的心理辅导和支持。

可以说，在很多AI从业者的书架上，都能找到一本被翻阅得有些破旧的书籍——《深度学习》（Deep Learning），这本书是深度学习领域的重要参考文献之一，它详细介绍了深度学习的基本原理和技术实践，成为了许多技术人员的床头读物。随着技术的不断进步和社会的发展，人工智能将成为推动社会发展的重要力量，而学习和掌握这一领域的知识，也将为个人的职业生涯增添无限的可能性。他不仅推动了技术的发展，还激励了新一代科研人员，让他们相信，即使在不被看好的情况下，也应坚持自己的信念，直到世界追上自己的步伐。

训练完成后，模型仅能识别训练数据中出现过的类别。从模型能力上看，在封闭域目标检测中，模型被设计为只识别训练时提供的预定义类别，并且假设测试图像中只会出现这些已知类别，模型通过大量的训练数据来学习这些预定义类别的特征，并进行优化，确保在这些类别的识别上达到最佳效果；相比之下，开放域目标检测要求模型不仅要能够识别训练时提供的已知类别，还需要能够处理在测试数据中可能出现的未知类别，模型需要具备较强的泛化能力，能够在面对未知类别时做出合理的响应，如识别出这是一个未知类别，而不是错误地将其归类为一个已知类别。

LNDP使得人工神经网络能够以活动和奖励依赖的方式实现突触和结构的可塑性，并桥接了间接发育编码（indirect developmental encoding）和元学习的可塑性规则，并提出了Evolving Self-Assembling Neural Networks（进化自组装网络）。这意味着神经网络终于可以根据具体任务进行自主连接和生长发育了，而非以往固定的、静态的、完全连接的方式。

在物理和材料科学研究中，扩散模型被用来预测和优化材料的性质，如通过模拟“炼金”过程，快速探索新材料的合成路径，特别是对于复杂体系，其预测的准确性与速度优势将更加凸显。通过连续的噪声注入步骤，模型学习了如何从一个复杂的数据分布出发，通过一系列确定性的转换，最终达到一个简单的已知分布（高斯噪声分布），这一过程为后续的反向扩散学习提供了基础。通过上面的应用场景可以看出，扩散模型在增强语言模型的多样性方面，不仅能够提升内容的创新性和吸引力，还能促进个性化和定制化内容的生成，为自然语言处理技术带来更广阔的应用空间。

在学术界和人工智能产业中，关于自回归模型的演进与应用一直是一个引发深入讨论和多方观点交锋的热门议题。尤其是Yann LeCun，这位享誉全球的AI领域学者、图灵奖的获得者，以及被誉为人工智能领域的三大巨擘之一，他对于自回归模型持有独特的批判视角。值得注意的是，自回归模型作为基础架构，支撑着当前备受瞩目的GPT系列大型语言模型（LLMs）的学习与预测机制，这些模型在自然语言处理领域展现出了革命性的影响力。LeCun教授不仅在其专业领域内享有崇高的声望，而且以其敏锐的洞察力和直言不讳的态度著称。

为提高模型效率，研究者提出了多种快速采样算法，如DDIM（离散扩散模型）和ADM（加速扩散模型），这些方法能够在保证生成质量的前提下，显著减少反向扩散所需的步骤数，从而大幅缩短生成时间。此外，还出现了如半扩散模型这样的新型架构，它结合了扩散模型与传统生成模型的优点，能够在更低的计算成本下生成高质量样本。例如，在音乐创作场景中，一个混合模型可以先根据用户提供的旋律片段或风格标签进行自回归式的后续旋律生成，再通过扩散过程优化生成音乐的质量和细节，确保生成的乐曲既符合用户预期又具有专业级音质。

拿RTX 4060 Ti显卡为例，该系列推出了8GB和16GB不同显存容量的版本，对于参数量较大的模型，特别是20亿参数等级的模型，16GB显存版本无疑提供了更为宽裕的工作空间，这对于入门级和中级人工智能项目，如涉及大规模模型训练、复杂图像渲染或是高性能计算密集型应用，都能够提供必要的显存支持。这些模型都是在2024年发布的。然而，这样的策略也带来了一个悖论：若大幅度削减大模型的参数量以适应有限的计算资源，那么理论上讲，其原有的规模优势和丰富的表达能力将会削弱，从严格定义上可能就不再符合“大模型”的标准。

Sora生成的视频呈现出的是大片既视感，无论是镜头变化，还是光影色彩的转变，以及细微到纹理结构的变化，都呈现出了专业摄影师级别的效果；根据OpenAI的介绍和愿景，Sora不只是一个简单的视频生成工具，而是一个能够改变时代的“世界模型”，Sora的开发工程师表示，Sora通过观察大量数据，可以学会许多关于世界的物理规律，这可以被用来模拟真实世界中的事件发生时的状况，比如智能机器人，自动驾驶等。最终发现，在具有高度描述性视频字幕的训练中，不仅可以提高文本的忠实度，还可以提升整体视频的质量。

目前业内对将LLM应用于长文本进行了广泛的研究，主要关注三个领域：长度外推、上下文窗口扩展，以及提高LLM对长文本的利用。.长度外推的目的是使在较短文本上训练的语言模型能够在测试过程中处理较长的文本。一个主要的研究途径是开发Transformer模型的相对位置编码方法，使它们能够在训练窗口之外发挥作用。上下文窗口扩展集中于扩展LLM的上下文窗口，允许在一次向前传递中处理更多的token。一个主要的工作方向是解决训练效率的问题。考虑到Transformer在训练过程中存在对注意力计算随token增长的

上一篇文章中，我们介绍了RetNet、RWKV、Mamba等有可能会替代Transformer的模型架构，这一篇文章我们将要介绍另外三个有可能会替代Transformer的模型架构，它们分别是UniRepLKNet、StripedHyena、PanGu-π，想了解之前的内容，请前往《》一文查阅。

随着大模型在应用层面的发展，支撑大模型的底层架构模型Transformer所存在的各种问题也逐渐显现，业内一直都在寻找Transformer框架的替代方法。有在原Transformer架构基础上微调改良的，也有采用传统RNN模型的思想的架构，还有以CNN为基础模型的架构，更有将Transformer和其他RNN、CNN架构结合的混合架构模型。无论模型如何变化，目的都是为了更高效地完成任务。目前的大模型的基础架构改良和重设计，都是在三大基础架构之上进行的革新，即。

这样可以节省用户的时间，让用户有更多的时间去处理更重要的事情。Apple Vision Pro为了实现用户的导航需求和与空间内容的交互，引入了一种全新的输入系统，这种设计，使得用户的操作更加直观和便捷。C端市场也是真正的造富矿场，纵观全球高市值公司无一例外都是C端市场，而C端市场的用户也最挑剔，因为C端面向的是不同的个体，想要将不同个体的需求爱好统一，确实很难，但是正因为如此，优质的产品研发公司才会真正致力于为人类发展而奋斗，开发出每个人都喜欢的产品，2024年注定是AI Agent激烈竞争的开始。

江山代有才人出，各领风骚数百年。这句话无论是放在古往今来的人类身上，还是放在当今人工智能领域的大模型之上，都是最贴切不过的。无论是一个时代的伟人，还是统治一个领域的技术，最终都会有新的挑战者将其替代。Transformer作为大模型的统治者，自从出现之后，就以其强大的语言理解能力击败了RNN模型，迅速占据了NLP领域的榜首，之后又是抢占了CNN主导的图像领域，成为了整个领域的王者，在之后很长一段时间内地位都稳固如初。