一顿码-CSDN博客

原创浅谈大模型RAG架构落地的十大挑战

Prompt 创作远超于问题与检索材料的直接整合，它要求根据生成模型的独特性，采取定制化的表述策略与附加指导。为了约束大模型潜在的泛化偏差，确立一个恒定的“角色框架”显得尤为关键，比如：明确指示大模型“扮演该领域的权威学者”，或“仅限于利用提问与关联素材进行精要概述与总结”，从而在各种情境下维持回答的精准度与相关性。在此基础上，大模型必须展现出高度的整合能力，使得最终的输出结果不仅在逻辑链条上紧密相连，而且在观点与事实的呈现上保持高度一致，这一过程对大模型的综合推理与衔接能力提出了严峻考验。

2024-07-15 13:59:55 741

原创快手刘育良，教你如何训练超大规模集群下的大语言模型

再者，由于模型尺寸巨大和数据量庞大，随之带来的是巨大的计算量，基本上现在表现良好的大模型都需要 1e24 Flops 级别以上的计算量。在前面，我们讨论了通信对计算效率的影响。即便我们实施了分桶策略，我们发现由于网络抖动等原因，DP 的通信和 PP 的通信仍有小概率发生 overlap，导致多流打入单网卡的现象，进而引起网络拥塞。如果将刚才提到的 scaling law 的横轴从计算量换成计算卡时，那么我们的目标就是通过提高训练效率来减少总体的训练时间，进而增加 scaling law 的斜率。

2024-07-15 10:47:55 729

原创 LLaMA-Factory 让大模型微调变得更简单！！

他们打造的 LLaMA-Factory，集成了顶尖的训练效率技术，让用户能轻松通过网页界面 LLAMABOARD，无须编码，即对上百个语言模型进行个性化微调。别担心，技术的进步就在眼前，随着模型优化，这一等待时间即将成为过去。微调过程完毕后，你可前往指定的输出目录(output_dir)，在其中详尽审视训练日志，这些记录涵盖了关键指标，比如：训练损失与验证损失，助你全面了解模型学习的进展与性能。而经过微调训练得到的大模型，其部署和调用方式则与其他预训练大模型保持一致，确保了使用的便捷性和通用性。

2024-07-13 17:05:21 393

原创人人都能听懂的大白话 Transformer 技术原理，错过再等一年！

解码器依托编码器提供的深入洞察，负责生成所需的输出，无论是将句子翻译成另一种语言、生成一个精确的摘要，还是写代码。自注意力机制为每个单词生成了三个特殊的向量：“查询（Query）”（询问我需要什么信息）、“键（Key）”（标示我有什么信息）和 “值（Value）”（实际的含义和上下文）。然后，通过比较每个单词的 “查询” 向量与其他所有单词的 “键” 向量，自注意力层评估了各个单词之间的相关性，并计算出注意力得分。通过考虑句中其他单词提供的上下文，自注意力机制为每个单词创建了一个新的、更丰富的表示。

2024-07-13 11:21:02 573

原创大模型应用的6种架构模式，你知道几种？

对于用户的 Prompt 提示词，Agent 会基于大模型先做规划（Planning），拆解成若干子任务，然后对每个子任务分别执行（Action），同时对每一步的执行结果进行观测（Observation），如果观测结果合格，就直接返回给用户最终答案，如果观测结果不合格或者执行出错，会重新进行规划（Replanning）。这样的架构模式非常适合复杂的问题解决场景，在这种场景中，问题的不同方面需要不同的专业知识，就像一个由专家组成的小组，每个专家负责处理更大问题的一个方面。二是防火墙，它为大模型提供了保护层。

2024-07-13 11:00:51 898

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Meimei9411的博客