- 博客(5)
- 收藏
- 关注
RSS订阅原创 lmdeploy部署
其中continuous batch推理模式主要用来解决在推理过程中不同批次的生成结果不同而影响推力效率的问题。把暂时不用的部分KV cache放到内存中，等需要用到时再读入显存，从而缓解显存压力。所谓部署就是讲用已经训练好的模型放在特定的环境中运行的过程。三、LMDeploy简介。LMDeploy核心功能。LMDeploy性能表现。大模型部署面临的挑战。
2024-06-06 16:28:13
388
原创 RAG原理简介
在检索阶段，根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程通常通过计算余弦相似度或其他相似性度量来完成，检索结果根据相似度得分进行排序最相关的文档将被用于后续的文本生成。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确、更丰富的回答。在检索之前对用户的提问进行了路由、扩展、重写的处理，对于检索到的信息进行重排序、总结、融合等处理，使得对信息收集和处理的效率更高。RAG 评测框架: 对抗噪音的鲁棒性、拒答能力、融合能力、真实性、回答问题的相关度、总结能力、纠错能力等多维度的评估。
2024-06-05 17:06:28
1321
原创 浦语大模型趣味 Demo作业展示
不过让模型去验证一下之前的结果是否准确，模型的验证结果依然不对，说明该模型在遵循事实、逻辑推理的能力上可能还有提升空间。这里可以看出该模型在数学推理方面还需要改进，但是已经具备基本的step by step的推理能力。可以看出浦语web模型在安全、道德以及逻辑方面做的相当不错，完美的避开了陷阱。
2024-06-04 17:24:38
213
原创 浦语大模型趣味 Demo笔记
使用快捷键组合 Windows + R（Windows 即开始菜单键）打开指令界面，并输入命令，按下回车键（Mac 用户打开终端即可）。打开 PowerShell 后，先查询端口，再根据端口键入命令。填写 开发机名称 后，点击 选择镜像 使用 Cuda11.7-conda 镜像，然后在资源配置中，使用 10% A100 * 1 的选项，然后立即创建开发机器。首先，打开 Intern Studio 界面，点击 创建开发机 配置开发机系统。再复制开发机SSH连接的密码，输入到 password 中，直接回车。
2024-06-04 17:04:30
780
原创 书生浦语全链路开源开放体系笔记
OpenCompass 助力大模型产业发展和学术研究广泛应用于头部大模型企业和科研机构，获得 Meta 官方推荐唯一国产大模型评测体系，社区支持最完善的评测体系之一100+ 评测集 50万+ 题目。在 Base 基础上，在多个能力方向进行了强化 ，在评测中成绩优异，同时保持了很好的通用语言能力，是我们推荐的在大部分应用中考虑选用的优秀基座。在 Base 基础上，经过 SFT 和 RLHF，面向对话交互进行了优化，具有很好的指令遵循、共情聊天和。模型的综合性能更为强劲，可有效支持更加复杂的实用场景。
2024-06-04 16:41:26
1477
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人