yuetou-CSDN博客

原创 MindSearch CPU-only 版部署

由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。最后，我们先新建一个目录，准备提交到 HuggingFace Space 的全部文件。最后，我们来将 MindSearch 部署到 HuggingFace Space。搜索最新的模型中不包含的内容，例如黑神话悟空这款游戏，可以看出会自动规划和搜索。提交代码到HuggingFace Space后，会自动运行，如下图。来注册硅基流动的账号（如果注册过，则直接登录即可）。

2024-09-09 23:12:40 756

原创茴香豆：企业级知识问答工具实践闯关任务

在 huixiangdou 文件加下创建 repodir 文件夹，用来储存知识库原始文档。修改完配置文件后，就可以进行知识库的搭建，本次教程选用的是茴香豆和 MMPose 的文档，利用茴香豆搭建一个茴香豆和 MMPose 的知识问答助手。# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）搭建了一个 Web UI 的测试界面，用来测试本地茴香豆助手的效果。茴香豆的所有功能开启和模型切换都可以通过。拉取完成后进入茴香豆文件夹，开始安装。下面开始茴香豆本地标准版的安装。

2024-09-07 13:33:58 722

原创 InternVL 微调实践闯关任务

复制教程config文件，修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。推理后我们发现直接使用2b模型不能很好的讲出梗，现在我们要对这个2b模型进行微调。替换test_lmdeploy.py，然后跑一下效果。解释的语气完全换了一种风格。用官方脚本进行权重合并。

2024-09-05 22:51:23 400

原创 LMDeploy 量化部署实践闯关任务

随着模型变得越来越大，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。InternLM2.5 1.8B模型为bf16，LMDpeloy推理精度为bf16的1.8B模型权重需要占用。在量化工作正式开始前，我们还需要验证一下获取的模型文件能否正常工作，以免竹篮打水一场空。执行internlm2_5_func.py脚本，返回结果为16。量化结束后，查看模型大小，压缩后模型1.5G，原模型3.6G。运行该模型，并观察显存占用，为19.7G左右。此时显存占用情况，使用了20G左右的显存。

2024-09-01 20:54:13 702

原创 Lagent 自定义你的 Agent 智能体

再次尝试重新创建一个新的环境，在执行cd lagent && git checkout 81e7ace && pip install -e . && cd .. 命令前先安装pip install griffe==0.48.0后解决。按照教程修改/root/agent_camp3/lagent/examples/internlm2_agent_web_demo.py后重启。尝试使用实战营群中给出的办法解决，手动安装pip install griffe==0.48.0，依然遇到该报错。

2024-09-01 15:06:44 122

原创书生大模型基础岛闯关任务——OpenCompass 评测 InternLM-1.8B 实践

编辑配置文件启动后看到最终评测的结果。

2024-08-25 16:39:08 110

原创书生大模型基础岛闯关任务——微调个人小助手认知任务

训练模型输出目录结构。

2024-08-24 13:23:08 104

原创书生大模型基础岛闯关任务——Llamaindex RAG实践

借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答的能力。在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答。通过页面访问查询知识库。

2024-08-22 17:08:23 99

原创浦语提示词工程实践

生成基于LangGPT的提示词。使用生成的提示词重新提问。

2024-08-19 16:21:08 99

原创书生大模型实战营（第3期）8G 显存玩转书生大模型

通过python /root/demo/cli_demo.py命令运行demo。visure studio code自动将6006进行绑定并映射，本机打开。我们执行如下代码来把本教程仓库 clone 到本地，以执行后续的代码。然后，我们执行如下代码来启动一个 Streamlit 服务。我们首先来为 Demo 创建一个可用的环境。# 安装 torch。

2024-08-16 13:19:06 352