qq_43959624-CSDN博客

原创【书生·浦语实战营】进阶岛第5关：茴香豆——企业级知识问答工具实践

茴香豆的架构中，除了利用 LLM 的功能判断问题相关性，也可以通过手动添加正例（希望模型回答的问题）和反例（希望模型拒答的问题）来调优知识助手的应答效果。关于“mmpose 安装”的问题，测试结果可以很好的反馈相应答案和对应的参考文件，但关于“std：：vector 使用”的问题，因为属于 C++ 范畴，不再在知识库范围内，测试结果显示拒答，说明我们的知识助手工作正常。对于本地知识库没有提到的问题或是实时性强的问题，可以开启茴香豆的网络搜索功能，结合网络的搜索结果，生成更可靠的回答。

2024-08-25 15:28:28 1311

原创【书生·浦语实战营】进阶岛第6关：MindSearch CPU-only 版部署

在最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署了。首先，我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号（如果注册过，则直接登录即可）。往下翻，选择 New secrets，name 一栏输入 SILICON_API_KEY，value 一栏输入你的 API Key 的内容。，并点击 Create new Space，如下图所示。

2024-08-24 22:28:38 1084

原创【书生·浦语实战营】进阶岛第4关：InternVL 多模态模型部署微调实践

InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。

2024-08-19 17:08:30 1094

原创【书生·浦语实战营】进阶岛第3关：LMDeploy 量化部署实践闯关任务

由于都使用BF16精度下的internlm2.5 7B模型，故剩余显存均为10GB，且 cache-max-entry-count 均为0.4，这意味着LMDeploy将分配40%的剩余显存用于kv cache，即10GB*0.4=4GB。因此，从bfloat16到int4的转换理论上可以将模型权重的大小减少到原来的1/4，即7B个int4参数仅占用3.5GB的显存。相比使用BF16精度的kv cache，int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值，而BF16需要16位。

2024-08-19 14:54:28 1148

原创【书生·浦语实战营】进阶岛第2关：Lagent 自定义你的 Agent 智能体

Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。接下来，启动 Web Demo 来体验一下，我们同时启用两个工具，然后输入“请帮我生成一幅山水画”,模型不存在，再次检查配置信息发现是因为模型名称填写错了我们部署地是。然后，我们在另一个窗口中启动 Lagent 的 Web Demo。接下来，我们通过源码安装的方式安装 lagent。然后，我们在插件选择一栏选择。

2024-08-16 15:24:57 798

原创【书生·浦语实战营】基础岛第6关：OpenCompass 评测 InternLM-1.8B 实践

这两条命令都用于配置 Intel Math Kernel Library (MKL) 的行为。MKL 是一个用于加速数学运算的库，通常用于科学计算和机器学习应用程序。

2024-08-10 14:21:56 931

原创【书生·浦语实战营】基础岛第4关：llamaindex+Internlm2 RAG实践

打开llamaindex_internlm.py 贴入以下代码。由于xtuner不在预训练模型的训练数据里面，所以回答效果不好。运行以下指令，新建一个python文件。运行以下指令，新建一个python文件。运行以下指令，新建一个python文件。运行以下命令，获取知识库。

2024-08-09 22:20:03 698

原创【书生·浦语实战营】基础岛第3关：LangGPT结构化提示词编写实践

Role (角色) -> Profile（角色简介）—> Profile 下的 skill (角色技能) -> Rules (角色要遵守的规则) -> Workflow (满足上述条件的角色的工作流程) -> Initialization (进行正式开始工作的初始化准备) -> 开始实际使用。例如，如果我们要生成一篇关于“人工智能”的文章，我们可以使用“人工智能”作为Prompt，让模型生成一篇关于人工智能的介绍、应用、发展等方面的文章。一个好的 Prompt ，内容结构上最好也是逻辑清晰连贯的。

2024-08-09 15:12:31 689

qq_43959624的博客

原创【书生·浦语实战营】进阶岛第5关：茴香豆——企业级知识问答工具实践

原创【书生·浦语实战营】进阶岛第6关：MindSearch CPU-only 版部署

原创【书生·浦语实战营】进阶岛第4关：InternVL 多模态模型部署微调实践

原创【书生·浦语实战营】进阶岛第3关：LMDeploy 量化部署实践闯关任务

原创【书生·浦语实战营】进阶岛第2关：Lagent 自定义你的 Agent 智能体

原创【书生·浦语实战营】基础岛第6关：OpenCompass 评测 InternLM-1.8B 实践

原创【书生·浦语实战营】基础岛第4关：llamaindex+Internlm2 RAG实践

原创【书生·浦语实战营】基础岛第3关：LangGPT结构化提示词编写实践

原创【书生·浦语实战营】基础岛第5关：XTuner 微调个人小助手认知

原创【书生·浦语实战营】基础岛第1关：书生大模型全链路开源体系

原创【书生·浦语实战营】基础岛第2关：8G 显存玩转书生大模型 Demo

原创【书生·浦语实战营】第2关：Python 基础知识

原创【书生·浦语实战营】第1关：Linux基础知识

空空如也

空空如也