- 博客(16)
- 收藏
- 关注
RSS订阅原创 MindSearch CPU-only 版部署
在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。由于硅基流动 API 的相关配置已经集成在了 MindSearch 中，所以我们可以直接执行下面的代码来启动 MindSearch 的后端。选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容。然后，我们进入 Settings，配置硅基流动的 API Key。
2024-08-29 16:11:55
969
原创 茴香豆：企业级知识问答工具实践闯关任务
(https://raw.githubusercontent.com/fzd9752/pic_img/main/imgs/image-1.png)茴香豆 是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。
2024-08-29 14:41:00
596
原创 InternVL 微调实践闯关任务
（ conda activate xtuner # 安装一些必要的库 conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -ylmdeploy==0.5.3# 创建一个目录，用来存放源代码使用InternVL2-2B模型:cd /root2、开始训练这里使用之前搞好的configs进行训练。合并权重&&模型转换。
2024-08-29 11:34:46
370
原创 LMDeploy大模型量化部署实践
稍待片刻，等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。使用的是50%A100，占用了23GB，执行以下命令，观看占用显存情况。输入以下命令，使用Gradio作为前端，启动网页。
2024-08-29 11:15:45
461
原创 基于 Lagent 自定义智能体
Lagent 中关于工具部分的介绍文档位于：https://lagent.readthedocs.io/zhcn/latest/tutorials/action.html。开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。我们同时启用两个工具，然后输入“请帮我生成一幅山水画”下面我们将实现一个调用 MagicMaker API 以完成文生图的功能。然后，将下面的代码复制进入。来适配我们的自定义工具。# 创建目录以存放代码。
2024-08-29 10:49:13
763
原创 探索 InternLM 模型能力边界
在中选择双模型对话，与InternLM2.5及另外任意其他模型对话，收集InternLM2.5 输出结果不如其他模型的对话案例，以及 InternLM2.5 的Good Case。
2024-08-29 10:37:35
780
原创 OpenCompass 大模型评测实战
此外，“司南”已支持超过20种HuggingFace和API模型，并具备分布式高效评测功能，只需一行命令即可实现任务分割和分布式评测，在数小时内完成对千亿参数模型的全量评测。对话模型在基座模型的基础上，通过指令微调或人类偏好对齐，具备更强的对话能力，如OpenAI的ChatGPT和上海人工智能实验室的书生·浦语。**模型层**关注基座模型和对话模型的评测。**方法层**采用客观评测和主观评测，前者适用于有确定答案的任务，后者评估用户对模型回复的满意度，结合模型辅助和人类反馈进行评估。
2024-08-09 16:10:04
891
原创 XTuner 微调个人小助手认知
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件，那么我们可以通过以下命令来实现一键转换。evaluation_inputs = ['请介绍一下你自己', 'Please introduce yourself']（1）列出所有预定义配置文件。
2024-08-09 09:57:53
819
原创 Llamaindex RAG实践
LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。
2024-08-09 09:34:24
898
原创 浦语提示词工程实践
3.使用streamit运行ui界面，连接服务器的23333端口。1.启动开发机，创建虚拟环境，下载所需要的包。2.部署模型为OpenAI server。定制prompt完成浮点数比较。
2024-08-08 15:16:19
192
原创 8G 显存玩转书生大模型 Demo
打开浏览器,访问 http://localhost:6006,开始你的AI之旅!3.1 终端运行：python /root/demo/cli_demo.py。创建脚本：touch /root/demo/cli_demo.py。创建目录：mkdir -p /root/demo。
2024-08-07 09:51:30
253
原创 书生·浦语：全链路开源体系介绍
InternLM2根据规格分类分为7B和20B两种模型，其中20B综合性能更强，可以支持更加复杂的使用场景。而按使用需求分类，则有InternLM2-Base、InternLM2和InternLM2-Chat三种。其中，InternLM2在Base基础上进行了多个能力方向的强化，而Chat版本则经过SFT和RLHF优化，具备指令遵循、共情聊天和调用工具等能力。书生浦语2.0主要亮点包括超长上下文、综合性能、对话和创作体验、工具调用能力以及数理能力和数据分析功能。
2024-08-07 09:35:17
974
原创 闯关任务：
3、点击VScode中的运行按钮，再弹出框中选择“调试”选项，即可开始调试；2、还需要安装一套插件Remote-SSH，然后连接主机进行运行和调试；1、首先使用VScode进行SSH远程连接；任务1：Python实现wordcount。
2024-07-12 15:39:51
133
原创 Matlab编程小技巧
在实际使用时遇到的小技巧，觉得不错记录下来，慢慢扩充：批量改变变量名 在matlab中选中一个变量名，改完之后，按下Shift + Enter就可以一次性改变所有同名变量。保存subplot画出的多个图 利用getframe函数，其在matlab中的用法有： F = getframe F = getframe(h) F = getframe(h,rect) 具体操作
2017-05-10 19:51:45
3917
原创 opecv-python学习笔记
opecv-python学习笔记目录opencv读取图像并显示matplot显示图片及注意事项 一、opencv读取图像并显示@功能描述：读入、显示图像；按下ESC键，退出；按下S键，保存。import numpy as npimport cv2img=cv2.imread('image.png',cv2.IMREAD_COLOR)cv2.namedWindow('image',cv2.
2017-05-09 17:38:16
314
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人