PiQiuNi的博客

研究评测对于我们全面了解大型语言模型的优势和限制至关重要研究评测有助于指导和改进人类与大型语言模型之间的协同交互研究评测可以帮助我们更好地规划大型语言模型未来的发展，并预防未知和潜在的风险了解不同语言模型之间的性能、舒适性和安全性，能够帮助人们更好地选择适合的模型，这对于研究人员和产品开发者而言同样具有重要意义大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案。

使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能。

Lagent 是一个轻量级开源智能体框架，旨在让用户可以。同时它也提供了一些典型工具以增强大语言模型的能力。

作业LMDeploy 部署 api_server启动并使用Web Demo调用接口存在问题以目标检测工具为例权重下载与推理推理结果启动WebUI配置agent配置工具

XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。🤓 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。🍃 轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB ： 消费级显卡✅，colab✅XTuner 的运行原理:

大模型微调

Python 3.10环境。

图文大模型量化部署

茴香豆助手是一个基于RAG技术的智能问答助手，它具有很好的灵活性、扩展性和准确性，可以广泛用于技术问答、智能客服等场景。首先，它基于RAG技术，能够结合外部知识库，生成更准确、丰富的回答。其次，它能够实现非参数知识更新，无需重新训练即可掌握新领域的知识，具有很好的灵活性和扩展性。再次，它利用向量数据库存储知识，提高了问答的效率和准确性。此外，它还可以判断问题的相关性，避免回答与主题无关的问题，实现精准问答。

茴香豆智能体——通过检索与用户输入相关的信息片段，并结合来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

1.8B轻量级模型部署与应用

大模型应用

书生·浦语大模型全链路开源体系在数据-预训练-微调-部署-评测-应用多个维度上，为大模型的开发提供了支持，帮助开发者更方便地进行系统开发与应用部署。