lxmlxmmmm的博客

原创 第七节作业

原创 第七节笔记

它从语言、知识、理解、推理、安全等多个能力维度进行评测，并采用客观评测与主观评测相结合的方法。该评测体系的主要特点包括开源可复现、全面的能力维度评估、丰富的模型支持、分布式高效评测、多样化的评测范式和灵活的拓展性。此外，OpenCompass提供了丰富的工具层支持，包括分布式评测技术、提示词工程、评测数据库对接、评测榜单发布和评测报告生成等功能。总的来说，OpenCompass是一个功能全面、使用灵活的大模型评测工具，对于研究人员和产品开发者来说，它提供了一个有效的平台来评估和选择适合的大型语言模型。

原创 第六节笔记

AgentLego 支持用户自定义工具。本文以实现一个调用 MagicMaker API 进行图像生成的工具为例，展示了如何创建工具文件、注册新工具以及体验自定义工具的效果。总的来说，AgentLego 提供了灵活的使用方式和强大的自定义能力，无论是直接使用、作为智能体工具使用，还是自定义工具，都能满足不同用户的需求。通过详细的文档和示例，AgentLego 降低了用户的使用门槛，使得算法的应用更加便捷和高效。本文介绍了三种使用 AgentLego 的方式：直接使用、作为智能体工具使用以及自定义工具。

原创 第六节课作业：

完成 AgentLego WebUI 使用。完成 AgentLego 直接使用部分。Lagent 的 Web Demo。

原创 第二节课笔记修改

我们将部署和体验InternLM2-Chat-1.8B模型的智能对话能力，实战部署优秀的八戒-Chat-1.8B模型，并通过Lagent框架探索InternLM2-Chat-7B模型的强大功能。此外，我们还将实践部署浦语·灵笔2模型，这是一个基于书生·浦语2大语言模型的图文多模态大模型，它在多种应用场景中表现出色，尤其是在自由指令输入的图文写作和准确的图文问题解答方面。而浦语·灵笔2模型则展示了在图文多模态任务中的卓越性能，它不仅能够理解复杂的图文指令输入，还能生成高质量的文章和回答。

原创 xtuner 笔记

接着，我们进入了开发机的终端界面，开始安装XTuner的环境。在安装过程中，我们选择了合适的Python版本和依赖库，并通过pip命令进行了安装。从开发机的准备到环境的安装，再到数据集的准备和微调过程的启动，每一步都至关重要。通过实践操作，我们能够更加深入地理解微调的原理和方法，并为自己的小助手增添更多的个性化和智能化功能。在这个阶段，我们明确了微调的目标，并收集了相关的数据集。最后，我们启动了微调过程。在XTuner的配置库中，我们找到了合适的配置文件，并根据自己的需求进行了修改。

原创 xtuner作业：

将自我认知的模型上传到OpenXLab，把应用程序部署到OpenXLab。

原创 第五节笔记

此外，我们还比较了LMDeploy与Transformer库在推理速度上的差异，并通过实验得出了LMDeploy具有更快的推理速度。以下是对整个教程的总结，包括关键步骤和代码示例。接着，我们创建了一个名为`lmdeploy`的conda环境，并激活了该环境，为后续的模型部署和运行做好准备。随后，我们使用LMDeploy的`chat`功能与模型进行了互动，体验了其快速的推理速度。通过本教程，我们学习了如何高效地部署和使用大型语言模型，体验了LMDeploy在模型量化、服务化以及性能优化方面的强大功能。

原创 第五节作业：

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。

原创 第三节笔记

通过检索与用户输入相关的信息片段，并结合外部知识库，RAG技术能够有效解决LLMs可能遇到的挑战，如幻觉问题、知识过时以及缺乏透明和可追溯的推理过程。在配置文件中指定模型路径，并创建知识库，这是RAG技术中关键的一步，因为它决定了茴香豆能够回答哪些类型的问题。在本次课程中，我们选用的茴香豆应用正是应用了RAG技术，它能够快速且高效地搭建起自己的知识领域助手。通过RAG技术，即使在InternLM2-Chat-7B训练数据库中没有收录到茴香豆的相关信息，也能够通过检索和生成的方式，提供准确的问答服务。

原创 书生哺语作业Day3:

总的来说，RAG技术结合了检索和生成的优势，通过外部知识库的支持，使得基础模型能够处理更复杂的知识密集型任务。茴香豆（HuixiangDou）是一款专为群聊场景设计的知识助手，它基于大型语言模型（LLM）构建，通过两阶段的拒绝和响应流程，有效应对群聊中的信息泛滥问题。用户可以通过简单的配置，将茴香豆部署到不同的即时通讯平台，如微信和飞书，实现技术问题的即时解答和闲聊的智能过滤。总的来说，茴香豆以其灵活的部署方式、高效的检索能力和强大的模型支持，为用户提供了一个可靠、智能的群聊技术助手解决方案。

原创 书生大模型笔记二：

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:

原创 作业二：（我要当优秀学员！！）

300字的小任务西游角色扮演lagent。

原创 书生哺语大模型：

本次视频介绍了书生·浦语大模型的全链路开源体系，重点在于通用人工智能的发展趋势，特别是从特定任务模型向通用大模型的转变，以及书生模型在7月、9月和1月的升级，包括支持多模态、8K语境和不同尺寸的模型，以及在语言建模能力、对话交互和智能体框架方面的提升。- 书生·浦语模型升级：7月升级支持8K语境和工具体系，8月发布对话模型和智能体框架，9月发布中等尺寸模型与优化工具链。- 模型能力亮点：长上下文理解、对话与创作、数学能力等，例如通过模型进行行程规划和情感对话。

原创 day 03

call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 chat 方法，从而实现对模型的调用并返回调用结果。构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库 nltk 的一些资源。

原创 Day2 作业：

原创 书生-浦语大模型(二)

大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如BERTGPT（ Generative Pre-trained Transformer ）等。大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。

原创 书生-浦语大模型(一)

大模型是指具有庞大规模的机器学习模型，通常具有大量的参数和复杂的结构。大模型一般需要在大规模的计算资源上进行训练，包括高性能计算机集群和大量的存储空间。大模型可以用于处理大规模的数据集和复杂的任务，例如自然语言处理、图像识别和推荐系统等。