- 博客(6)
- 收藏
- 关注
RSS订阅原创 OpenCompass 大模型评测
本文介绍了大模型评测的重要性、需要测试的方面，以及不同的评测方案。介绍了OpenCompass 框架的特点和优势。此外，还讨论了OpenCompass 实战的安装和准备工作，以及数据集的配置和评测设置。最后，介绍了评测中设置模型参数的方法和注意事项。
2024-01-24 15:56:03
628
原创 LMDeploy 大模型部署实践
本文介绍了大模型部署的背景和挑战，包括存储和加载速度的问题，推理过程中的挑战，以及服务方面的挑战。同时介绍了一些解决方案，如模型并行、低比特量化和页码注意等。在实践部分，介绍了LMDeploy的特点和功能，以及KV Cache推理引擎的功能和实战部分内容。
2024-01-17 19:30:00
1119
原创 XTuner 低成本微调实战
本文介绍了xtuner的入门和上手教程，包括理论和实战两部分，本文重点在理论部分。在理论部分，详细介绍了微调框架xtuner以及微调的工作流程。
2024-01-14 22:12:49
2008
原创 基于书生·浦语大语言模型和langchain构建知识库
LangChain提供了通用接口，可以简化大模型应用程序的开发流程， 现在已经封装了许多组件，可以构建不同类型的RAG应用。LangChain的核心组成部分是链，也就是chains，通过链可以封装大模型操作。funturn的核心思想是在较小的训练集上进行轻量级的训练微调，提升模型在新数据集上的能力。使用大模型进行最后的回答，整个过程被封装在检索问答面中，可以构建属于自己的RAG应用。目前有两种核心的大模型开发范式，可以拓展大模型的能力，解决其面临的局限性。
2024-01-14 21:29:27
1847
原创 轻松玩转书生·浦语大模型
InternLM(书生·浦语)是一个轻量的开源基于大模型的智能体。通过Lagent框架，可以快速将大语言模型转变为多种类型的智能体。InternLM-7B包含一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有强大的知识库和推理能力。
2024-01-07 19:49:09
648
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人