- 博客(6)
- 收藏
- 关注
原创 OpenCompass 大模型评测
本文介绍了大模型评测的重要性、需要测试的方面,以及不同的评测方案。介绍了OpenCompass 框架的特点和优势。此外,还讨论了OpenCompass 实战的安装和准备工作,以及数据集的配置和评测设置。最后,介绍了评测中设置模型参数的方法和注意事项。
2024-01-24 15:56:03 673
原创 LMDeploy 大模型部署实践
本文介绍了大模型部署的背景和挑战,包括存储和加载速度的问题,推理过程中的挑战,以及服务方面的挑战。同时介绍了一些解决方案,如模型并行、低比特量化和页码注意等。在实践部分,介绍了LMDeploy的特点和功能,以及KV Cache推理引擎的功能和实战部分内容。
2024-01-17 19:30:00 1171
原创 XTuner 低成本微调实战
本文介绍了xtuner的入门和上手教程,包括理论和实战两部分,本文重点在理论部分。在理论部分,详细介绍了微调框架xtuner以及微调的工作流程。
2024-01-14 22:12:49 2142
原创 基于书生·浦语大语言模型和langchain构建知识库
LangChain提供了通用接口,可以简化大模型应用程序的开发流程, 现在已经封装了许多组件,可以构建不同类型的RAG应用。LangChain的核心组成部分是链,也就是chains,通过链可以封装大模型操作。funturn的核心思想是在较小的训练集上进行轻量级的训练微调,提升模型在新数据集上的能力。使用大模型进行最后的回答,整个过程被封装在检索问答面中,可以构建属于自己的RAG应用。目前有两种核心的大模型开发范式,可以拓展大模型的能力,解决其面临的局限性。
2024-01-14 21:29:27 1884
原创 轻松玩转书生·浦语大模型
InternLM(书生·浦语)是一个轻量的开源基于大模型的智能体。通过Lagent框架,可以快速将大语言模型转变为多种类型的智能体。InternLM-7B包含一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有强大的知识库和推理能力。
2024-01-07 19:49:09 700
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人