C_MOONN-CSDN博客

原创书生·浦语大模型实战营第二期：第七节 OpenCompass 大模型评测实战

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。有部分第三方功能,如代码能力基准测试 Humaneval 以及 Llama格式的模型评测,可能需要额外步骤才能正常运行，如需评测，详细步骤请参考安装指南。将会在opencompass下看到data文件夹。

2024-04-22 15:18:45 386

原创书生·浦语大模型实战营第二期：第六节 Lagent & AgentLego 智能体应用搭建

首先通过import os@tool_api"""一个天气查询API。可以根据城市名查询天气信息。Args:"""else:Args:Returns:"""data = [f'数据观测时间: {now["obsTime"]}',f'温度: {now["temp"]}°C',f'体感温度: {now["feelsLike"]}°C',f'天气: {now["text"]}',f'风向: {now["windDir"]}，角度为 {now["wind360"]}°',

2024-04-22 14:11:35 770

原创书生·浦语大模型实战营第二期：第五节 LMDeploy 量化部署 LLM-VLM 实践

可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有数据集或者模型想对外分享，网盘又不太方便，就不妨托管在HuggingFace。TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。

2024-04-22 10:54:10 775

原创书生·浦语大模型实战营第二期：第四节 XTuner 微调 LLM：1.8B、多模态、Agent

假如我们想要用 XTuner 这款简单易上手的微调工具包来对模型进行微调的话，那我们最最最先开始的第一步必然就是安装XTuner！安装基础的工具是一切的前提，只有安装了 XTuner 在我们本地后我们才能够去思考说具体怎么操作。：那在完成了安装后，我们下一步就需要去明确我们自己的微调目标了。我们想要利用微调做一些什么事情呢，那我为了做到这个事情我有哪些硬件的资源和数据呢？假如我们有对于一件事情相关的数据集，并且我们还有足够的算力资源，那当然微调就是一件水到渠成的事情。就像 OpenAI 不就是如此吗？

2024-04-21 20:38:10 641

原创书生·浦语大模型实战营第二期：第三节茴香豆：搭建你的 RAG 智能助理

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索。进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为。命令行输入下面的命令，修改用于向量数据库和词嵌入的模型。的相关模块，默认嵌入和重排序模型调用的网易。相关的新增知识就以向量数据库的形式存储在。文件中指定本地模型路径，茴香豆将自动从。用已下载模型的路径替换。，综合问题和检索到的。用于检索的重排序模型。

2024-04-21 14:53:31 643 1

原创书生·浦语大模型实战营第二期：第二节轻松玩转书生·浦语大模型趣味 Demo

然后我们打开demo文件中的/root/demo/download_mini.py，保存代码并运行。然后我们打开/root/demo/cli_demo.py文件，保存代码并运行。经过漫长等待终于启动成功。后续我们先输入以下代码来激活我们的环境。接下来我们按路径创建文件夹，并且进入对应的文件目录。接下来我们生成一个300字左右的小故事。然后再输入以下命令来，来安装环境包。首先我们先配置基础环境。

2024-04-21 14:07:06 323

原创书生·浦语大模型实战营第二期：第一节书生·浦语大模型全链路开源体系

通用人工智能的发展方向正逐渐从单一任务模型转向通用大模型，这些大模型能够解决多种任务和模态，具有更广泛的应用能力。在这一发展趋势下，书生·浦语模型和英特尔M2等模型不断进行升级和优化，提升着其性能和功能。书生·浦语模型在长上下文理解、对话与创作等方面表现出色，而英特尔M2则提供了不同尺寸的模型以适应不同需求，并通过数据清洗和优化等手段进一步提升了模型性能。同时，开源工具体系为用户提供了完整的工具链，覆盖了从数据处理到模型部署的全流程，为用户提供了便捷的使用和部署解决方案。

2024-03-30 13:48:36 698 1

C_MOONN的博客