weixin_56460049的博客

在租用的AutoDL服务器上基于终端不便进行，而使用远程桌面控制部署也相对麻烦。则需要专业版才能进行远程开发，如果使用Shell启动的程序也没有办法调试，最终选择利用来进行。

本文详细介绍了如何在Pycharm中配置SSH和SFTP，以便于在AOTUDL服务器上进行代码修改、调试。步骤包括新建工程、配置SFTP连接、设置Rootpath和Mapping，以及实现自动上传和下载文件的功能。远程服务器编辑调试只是试用于专业版本的pycharm，我的PyCharm版本是PyCharm 2024.1.3 (Professional Edition)。），确保程序不受SSH连接中断影响程序执行！

这些步骤可以帮助你进行深度的 Ubuntu 磁盘清理，并释放大量磁盘空间。记得定期清理不再需要的文件和缓存，以保持系统的高效运行。这个操作将系统盘从19G降到了13G，节省了18%系统盘空间。

有一个报错：“ FileExistsError: 从文件 samples/test_files/langchain.pdf 加载文档时出错：[Errno 17] File exists: '/root/nltk_data/tokenizers' ” ，将文件'/root/data/Langchain-Chatchat/data/knowledge_base/samples/content/test_files/langchain.pdf'复制到'/root/nltk_data/tokenizers'即可。

Streamer-Sales 销冠 —— 卖货主播大模型是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。以其独特的智能魅力，将彻底改变您的购物体验。该模型能深度理解商品特点，以生动、精准的语言为商品量身打造解说词，让每一件商品都焕发出诱人的光彩。无论是细节之处，还是整体效果，都能通过其细腻、独到的解说，激发用户的购买欲望。模型用xtuner在InternLM2的基础上指令微调而来，部署集成了 LMDeploy加速推理🚀，支持ASR 语音生成文字🎙️，支持。

随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。

茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。茴香豆特点。

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。对于视觉模块来说，它的特殊之处在Dynamic High Resolution。

注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。重新执行模型的量化工作，等终端输出如下时，说明正在推理中 (本步骤耗时较长，8小时左右，请耐心等待，可以利用晚上推理，避免白天占用GPU资源)。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器在本节中，我们将带大家基于 Lagent 自定义自己的智能体。Lagent 中关于工具部分的介绍文档位于。继承BaseAction类实现简单工具的run方法；

如果天气预报所说的“本周星期三”指的是未来的一天，而昨天（你提到的下雨的日子）确实是下雨了，那么根据一般的日期逻辑，如果昨天是星期二，那么今天就是星期三。这句话通过幽默的方式描述了一个潜在的冲突情景，即妻子威胁要将说话者的头按在键盘上，而说话者则通过一种荒诞的方式回应，即他认为自己妻子的威胁并不严重，因为他妻子的威胁话语中包含了无意义的乱码。讲述者的回应是“我不担心”，因为他觉得妻子的威胁是不可信的，或者说他是以一种自嘲的方式表达对威胁的不在意。“我妻子告诉我，如果我不停止玩电脑，她会把我的头按在键盘上。

确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。在 --debug 模式下，任务将按顺序执行，并实时打印输出。选择开发机类型：个人开发机，输入开发机名称：OpenCompass评测，选择开发机镜像：Cuda11.7-conda。接下来，我们将展示 OpenCompass 的基础用法，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，展示书生浦语在。

本节主要重点是带领大家实现个人小助手微调，如果想了解微调相关的基本概念，可以访问XTuner微调前置基础。我们需要前往 InternStudio 中创建一台开发机进行使用。选择开发机类型：个人开发机，输入开发机名称：XTuner微调，选择开发机镜像：Cuda12.2-conda。资源配置可以选择 30% （如果有更高资源可以使用，也可以选择更高的资源配置），然后点击 “立即创建” 按钮创建开发机。进入开发机之后，请确保自己已经克隆了Tutorial仓库的资料到本地。2、创建虚拟环境在安装 XTun

给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。:（我们也可以选用别的开源词向量模型来进行 Embedding，目前选用这个模型是相对轻量、支持中文且效果较好的，同学们可以自由尝试别的开源词向量模型） 运行以下指令，新建一个python文件。运行以下指令，新建一个python文件app.py。

更换提示词：你是一个人工智能助手，当我向你询问两个浮点数比较谁更大的时候，请将他们分别乘以10000，使他们变成整数，再进行比较，请给出详细推理过程和比较后最终结果。提示词：你是一个人工智能助手，当我向你询问两个浮点数比较谁更大的时候，请将他们乘以10的倍数后使他们变成整数，再进行比较，请给出详细推理过程和比较后最终结果。的控制模式，然后按D退出窗口连接。经检查，发现在模型部署后，没有执行 “服务启动完成后，可以按Ctrl+B进入。注：这个仅仅是提示词的一个演示，并不具有一般性，不能适用大多数情况。

LMDeploy 已经支持了 InternLM-XComposer2 系列的部署，但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。根据报错提示，下载frpc_linux_amd64，改名frpc_linux_amd64_v0.2，上传到云服务器中提示的相应的目录下，重新启动lmdeploy命令。我们在网上下载一张图片，在使用 Upload Image 上传图片后，我们输入“图中有什么”后，按下回车，便可以看到模型的输出。

书生大模型全链路开源开放体系是一个涵盖数据处理、模型预训练、微调、评测、推理以及智能体开发框架等应用的全流程的开放平台，旨在为学术研究者、开发者和行业应用提供全面的支持。该体系由多个模块组成，包括数据处理的书生·万卷、预训练框架InternEvo、微调工具Xtuner、评测体系OpenCompass、推理框架LMDeploy、应用包含思索式搜索引擎MindSearch、智能体开发框架Lagent、高效文档解析工具MinerU，以及基于专业知识库的群聊助手HuixiangDou。

在jupyter的右上角，一个debug按钮，点击一下，会进入debug模式，我们可以在35行设置断点。接着按ctrl+enter执行代码，代码会在断点处停下来，在右侧的监视区域能够看到断点处相关的变量值。

在GitHub上创建一个新的OAuth Token（Settings > Developer settings > Personnal Access Tokens > Tokens(classic)）。自从2021年8月13日起，GitHub不再支持通过密码进行基本认证，即不再接受用户名和密码来进行对Git服务的访问。自定义一个新的分支：git checkout -b camp3_v587 ， 然后检查一下： git branch。创建并修改自己的md文件。