- 博客(6)
- 收藏
- 关注
RSS订阅原创 学习笔记：书生·浦语大模型全链路开源体系
2，“理科”能力和模型尺寸关联性高：在语言和知识这类“文科”维度，中轻量级模型和重量级/闭源商业模型差距较小，但数学、推理、代码等维度上，性能和尺寸呈现较强相关性。4，模型主客观性能需综合参考：大量开源模型和API模型的客观性能和主观性能存在较大的偏差，社区仅仅需要夯实客观能力基础，更需要在偏好对齐和对话体验上下功夫。在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。有7B和20B两个规格。
2024-06-30 13:01:39
262
原创 学习笔记：OpenCompass 大模型评测实战
海量语料不可避免带来评测集污染亟需可靠的数据污染检测技术如何设计可动态更新的高质量评测基准。评测体系需增加新能力维度如数学、复杂推理、逻辑推理、代码和智能体等，以全面评估模型性能。在医疗、金融、法律等专业领域，评测需结合行业知识和规范，以评估模型的行业适用性。针对中文场景，需要开发能准确评估其能力的中文评测基准，促进中文社区的大模型发展。通过深入分析评测性能，探索模型能力形成机制，发现模型不足，研究针对性提升策略。大模型应用场景干变万化模型能力演进迅速，如何设计和构造可扩展的能力维度体系。
2024-06-30 12:30:24
439
原创 学习笔记：Lagent & AgentLego 智能体应用搭建
大语言模型具有局限性：1.幻觉：模型可能会生成虚假信息，与现实严重不符或脱节。2.时效性：模型训练数据过时无法反映最新趋势和信息。3.可靠性：面对复杂任务时，可能频发错误输出现象，影响信任度。什么是智能体：具有以下特点。1.可以感知环境中的动态条件。2.能采取动作影响环境。3.能运用推理能力理解信息、解决问题、产生推断、决定动作。Lagent：一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。支持多种智能体范式。
2024-06-30 12:18:17
259
原创 LMDeploy 量化部署 LLM-VLM 实践
照此计算，若生成128个token，就要进行5.2万亿次运算，20B算是大模型里的“小”模型了，若模型参数规模达到175B(GPT-3)，Batch-Size(BS)再大一点，每次推理计算量将达到干万亿量级。1提供的模型参数数据，以及KVCache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。量化技术将传统的表示方法中的浮点数转换为整数或其他离散形式，以减轻深度学习模型的存储和计算负担。
2024-06-30 12:02:37
496
原创 浦语学习笔记第三章——XTuner 微调 LLM：1.8B、多模态、Agent
首先为什么要微调呢？现在的大模型大多数都是“foundation”模型，是非常泛化的，它们在众多专业领域的表现是不如我们微调之后的模型的，所以微调其实就是将一个泛型化的大模型调整成为一个更适用于某个专业领域的专用大模型。两种常用的微调范式：增量预训练和指令跟随。增量预训练微调主要是为了让一个模型学到一些新知识，如某个垂类领域的知识，训练数据通常为文章，书籍，代码等等，不需要标注。而指令跟随微调是为了让模型学会对话模板，根据人类指令进行对话，常用数据为高质量的对话和问答数据，需要标注。
2024-06-28 17:14:53
434
原创 浦语·书生大模型课程学习 第二章——搭建RAG
数据存储就是通过一些其他的预训练的模型来将文本或者其他数据转化为固定长度的向量，这些向量能够捕捉文本的语义信息。最相关的文档将会用于后续回答文本的生成。RAG的发展历史分为三个阶段：最初的技术成为“Naive RAG” ，包含RAG技术所有的基础环节；在大语言模型的训练与应用中，LLMs这一较为原始的架构在应对知识密集型任务时会遇到一系列的问题，比如无法回答与训练之后的一些事件相关的问题。在回答这些问题时，可能会出现过时答案，产生幻觉，缺乏透明可追溯的过程等等不足，导致模型应用范围过窄，应用时效过短。
2024-06-26 15:22:35
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人