kiiy2的博客

七天入门LLM大模型学习课程。#01魔搭LLM大模型开源生态图近一年来，大语言模型（LLM）成为为全球科技与社会关注的焦点，公众对这类模型所蕴含的先进技术及其广泛应用有了更为深入的认知。关于LLMs是否应采取开源策略的话题引发了广泛的热议和深度探讨。魔搭ModelScope社区在过去的一年中，积极推动开源模型的发展，魔搭社区通过开源推动模型贡献者的研究成果的透明度提升和可复制性的强化，同时激发中国研究者和开发者社群的集体创新潜能。

摘要从大模型技术发展趋势出发，分析了多模态、长序列和混合专家模型的架构特征和算力需求特点。围绕大模型对巨量算力规模与复杂通信模式的需求，重点从算力利用效率、集群互联技术两方面量化分析了当前大模型算力基础设施存在的发展问题和面临的技术挑战，并提出了以应用为导向、以系统为核心、以效率为目标的高质量算力基础设施发展路径。**关键词：**多模态模型；长序列模型；混合专家模型；算力利用效率；集群互联；高质量算力0引言近年来，生成式人工智能技术，尤其是大语言模型（Large Language Model，LLM）的快速

2023年，让整个人类最为振奋的AI技术就是ChatGPT。“大语言模型（Large Language Model）”这个词也随之映入人们的眼帘。ChatGPT让人觉得惊艳之处，能够结合上下文，像人一样有逻辑性地回答问题，就算生成超长的文本也不会跑偏。**所谓语言模型（Language Model）**是一种机器学习算法，它可以根据给定文本来预测下一个词语或字符的出现的概率，通过大量的文本数据来学习语言的统计特征，进而生成具有相似统计特征的新文本。

我们可以把不同的 LLM 或者 AI Agent 组合起来，让每个 Agent 都专注于它最擅长的领域。基准测试可以用来评估每个 Agent 在不同任务上的表现，使用已建立的数据集如 GLUE 和 FLASK，可以进行与不同最先进模型的标准化比较。AI Agent 则具备在不同互动之间保持上下文的能力，每个 Agent 可以参考前一个 Agent 的响应来完成它们预期的任务。另一方面，AI Agent 可以设计为由多个专门模型组成的团队，每个模型专注于一个特定任务，例如研究者、博客撰写者、社交媒体专家。

其显示，在给定预算的情况下，较小的模型在生成高质量结果方面经常优于大模型，反而是大模型由于拥有过多的冗余数据或干扰项，在反应速度、能耗等指标上表现逊于小模型。对此，前OpenAI、现特斯拉AI研究员卡帕西认为，该趋势符合自卷积神经网络以来的AI技术演进规律，为了能够更高效地完成任务，模型必须“先变大，后变小”，直至获得完美的训练集。近日，《经济学人》发表文章，援引AI研究公司Epoch AI的数据，认为若按照目前的趋势，到2028年互联网上的所有高质量文本数据都将被使用完毕。

掌握大型语言模型（LLMs）的基础原理和实际应用。本内容通过理论知识和实践示例的结合，将帮助你全面理解LLMs及其在人工智能领域中的重要性。内容结束时，你将能够解释这些先进模型在创造创新AI解决方案中的关键作用。

以情感分析任务为例，过去我们做此类任务的方式是对输入的文本去做一个分类任务，预测它情感的正向或者负向，更多的是一种判别式的方法。直接使用其 in content learning 的方式去做推荐的话，一个突出的问题是，GPT 是被高度安全优化过的，所以它很难去拒绝用户，也就是很难 say no，如果我们按照 point wise 的方式，给它一个 list，history，然后问它是不是要把这些推给这个用户，它很难 say no，有很大概率会对很多用户都直接 say yes，也就是所有东西都推对。

在人工智能技术迅猛发展的今天，搭建本地专属的大模型不仅是提升数据安全和计算效率的明智选择，更是实现业务目标、控制成本和优化运营的重要战略。无论您是希望保护敏感数据、提升系统性能，还是追求自主控制和定制化解决方案，本地部署的大模型都能够为您的组织提供显著的优势。选择本地部署的大模型，可以提高系统的可靠性和连续性。选择本地部署的大模型，意味着组织可以对模型的管理、维护和更新拥有完全的自主控制权。通过本地部署，组织可以通过一次性采购硬件设备和软件许可证，避免了持续的云服务费用，并能更好地预算和控制整体成本。

近年大模型彻底火了，大厂新增了大量岗位，要求掌握大模型相关知识，以及各类开源模型，从今年陆续开启的秋招来看，腾讯等大厂LLM岗位面试中，除了大模型微调、训练和推理等，为了帮助大家掌握幻觉缓解创新方法，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

如果你问我现在基于LLM（大语言模型，本文有时候也会讲该名词描述为“大模型”）最火热的应用是什么，那我必须主推检索增强生成（RAG最初是为了解决LLM的各类问题的（后面会提到）产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的解决方案。就像我之前的文章《关于LLM的一些声音总结》提到的一样，企业发现其实自己要的好像是一个更好地搜索，根本不关心是不是大模型。于是，RAG被越来越多提到，包括开源的ChatPDF，也是RAG的一个经典应用。

在考虑这些维度时，在RAG和微调之间进行选择变得更加直观。如果我们需要倾向于获取外部知识和重视透明度，RAG是我们的首选。另一方面，如果我们正在使用稳定的标记数据，并旨在使模型更接近特定需求，则微调是更好的选择。在下一节中，我们将看到如何基于这些标准评估流行的LLM用例。

随着 Llama 3.1 的开源，人工智能的未来已不再遥不可及。它不仅为消费者带来了更高效、更精准的智能工具，更为全球开发者社区注入了创新的活力。在技术的不断演进中，Llama 3.1 无疑将成为推动 AI 领域进步的关键力量。让我们期待，这股开源的力量如何激发更多的智慧火花，共同书写人工智能的新篇章。

下面用程序演示「生成下一个字」。可以自己修改 prompt 试试。还可以使用相同的 prompt 运行多次。`prompt = "今天天气很" # 改明天试试``)`大模型通俗的讲就是根据上文，猜下一个词（的概率）：大模型可是个爱学习的小家伙，它把人类说过的话都记在了心里。这就是我们说的「机器学习」，而它学习的过程，我们叫它「训练」。它还特别擅长记概率，把一串接一串的token可能跟着的token都记录下来了。这些记录，就是我们说的「参数」，也可以叫做「权重」。

在当今的百模齐放的时代，大模型已经成为了一种重要的工具，各家争相发布自家大模型，并强调在某某榜单上排名第几，超越了某某某。然而，面对众多的模型和架构，我们应该如何选择最适合自己的模型呢？

Transformer架构是Vaswani等人于2017年推出的一种深度学习模型，旨在以比递归神经网络（RNN）和长短期记忆（LSTM）等先前模型更高的效率和性能处理顺序数据。它依赖于自注意力机制（self-attention mechanisms）来并行处理输入数据，使其具有高度的可扩展性，并能够捕获长期依赖关系。在LLM中，Transformer架构构成了骨干，使模型能够高效地处理大量文本数据，并生成上下文相关和连贯的文本输出。

在NLP领域，早期的模型如 LSTM 和 GRU 在处理序列数据时取得了一定的成功。但随着数据量和复杂性的增加，这些模型开始显得力不从心。Transformer 模型的提出，它通过自注意力（Self-Attention）机制，显著提高了处理长距离依赖关系的能力，这一架构成为后续大语言模型的基石。随后，BERT (Bidirectional Encoder Representations from Transformers) 的出现改变了游戏规则，它通过双向训练的方式，大大提升了上下文理解的深度。

大型语言模型（LLMs）是在自然语言处理（NLP）和自然语言生成（NLG）任务中利用深度学习的基础模型。为了帮助它们学习语言的复杂性和联系，大型语言模型在大量的数据上进行了预训练。这些模型可以适用于下游（特定）任务。LLM本质上是一个基于的神经网络，由谷歌工程师在2017年一篇题为的文章中介绍。一个模型的先进性和性能可以通过它有多少个参数来判断。一个模型的参数是它在生成输出时考虑的因素数量。

大家好，今天我们一同来探讨一下那些大模型背后的核心技术！Transformer模型，无疑是大型语言模型的坚实基石，它开启了深度学习领域的新纪元。在早期阶段，循环神经网络（RNN）曾是处理序列数据的核心手段。尽管RNN及其变体在某些任务中展现出了卓越的性能，但在面对长序列时，它们却常常陷入梯度消失和模型退化的困境，令人难以攻克。为了解决这一技术瓶颈，Transformer模型应运而生，它如同黎明中的曙光，照亮了前行的道路。

MLOps（机器学习操作）：MLOps是一种结合机器学习、软件工程和DevOps实践的方法论，核心目标是简化机器学习模型的部署、管理和维护。它侧重于实现机器学习系统整个生命周期的自动化，包括数据准备、模型训练、部署、监控和再训练。LLMOps 特指与语言模型（如 ChatGPT）相关的操作实践。它涉及语言模型生命周期的管理，包括训练、微调、部署、监控和版本控制。LLMOps的目标是确保语言模型在其生命周期内的可靠性、性能和安全性。

因此，企业需要 **LLM Observability（大语言模型可观测性）**来展示和监控模型内部工作机制，确保 LLM 能够在各种应用场景中安全公正地运行，为企业提供性能监控、成本控制、透明度提升和故障排除等多方面的价值，帮助企业优化模型性能，提升系统稳定性，推动技术创新，实现更加智能和高效的业务应用。LLM 可观测性不仅能够提高模型的透明度，还能够及时发现并纠正潜在的问题，确保模型的安全及准确性，减少错误，提高用户信任，从而推动人工智能技术走上。Token 是模型处理文本数据的基本单元。