大模型
文章平均质量分 85
RessCris
怕什么真理无穷,进一寸有一寸的欢喜
展开
-
OpenCompass 大模型评测
推理阶段主要是让模型从数据集产生输出,而评估阶段则是衡量这些输出与标准答案的匹配程度。使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能。您需要配置整个评估过程,选择要评估的模型和数据集。使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。OpenCompass 官方提供的数据集是怎么处理我们自己的模型能力的?每个评估任务由待评估的模型和数据集组成。原创 2024-02-05 13:57:39 · 1082 阅读 · 0 评论 -
LMDeploy 大模型量化部署实践
在设备上运行起来,能够接受输入,返回输出。最重要的就是性能和效率方面的考虑。大模型也是模型的一种,内存开销大,7b 要14G左右的显存。因为是自回归的方式,需要把中间结果缓存下来,生成的结果越多,占的显存就越大。生成过程就是采样的过程。推理的时候是如何解决这种要生成万字的情况?依赖前一个生成的时候是怎么处理的?服务也是一个框架支持起来的。推理引擎是 C++ 写的,上层是 Python. 可以把 Python 当成一个客户端。量化是非常有必要的。请求的吞吐量。提升推理的速度。原创 2024-01-21 23:21:03 · 397 阅读 · 0 评论 -
XTuner 大模型单卡低成本微调实战
仅作为自己学习的笔记记录。原创 2024-01-21 12:27:46 · 924 阅读 · 0 评论 -
NVIDIA 大模型 RAG 分享笔记
通用目的的微调技术。参数化和非参数化的技术。RAG对于大语言模型来说类比于开卷考试。三个步骤RetrivealAugmentation: 增强的 prompt增强的上下文是有理有据的,减少幻觉参数化的知识,结合传入的数据,生成技术非参数化的技术:数据库的部分文档加载预训练的参数化部分基础大语言模型的选择部署平台的选择,提升用户的体验模型:适合场景的模型,比如代码类,问答类会有对应的模型部署:低延迟、高吞吐率。是否支撑换模型。原创 2024-01-18 15:17:43 · 1442 阅读 · 0 评论 -
基于 InternLM 和 LangChain 搭建你的知识库
劣势:能力受基座模型影响大,RAG每次需要将检索文档和问题提交给大模型,极大占用上下文限制。优势:可以充分拟合个性化数据;个性化大模型,依然具有广大的通用能力。劣势:无法解决实时更新成本问题。算力、数据都需要成本。如何打造个人专属的大模型应用也是重要的问题。如何打造垂域大模型是一个重要落地方向。Finetune 轻量级的微调。RAG 外挂一个知识库。优势:成本低,实时更新。原创 2024-01-14 21:58:51 · 355 阅读 · 0 评论 -
langchain(1):使用LangChain 调用 openai 的 text/chat model
这通常是你想要的模型的输出。另外,无论是 langchain.llms 中的 OpenAI(Text 模型),还是 langchain.chat_models 中的 ChatOpenAI 中的 ChatOpenAI(Chat 模型),其返回的结果 response 变量的结构,都比直接调用 OpenAI API 来得简单一些。这只是一个对 OpenAI API 的简单封装:先导入 LangChain 的 OpenAI 类,创建一个 LLM(大语言模型)对象,指定使用的模型和一些生成参数。原创 2023-11-16 22:25:08 · 1860 阅读 · 0 评论