- 博客(27)
- 收藏
- 关注
RSS订阅原创 第三期书生大模型实战营之茴香豆工具实践
在 InternStudio 中利用 Internlm2-7b 搭建标准版茴香豆知识助手，并使用 Gradio 界面完成 2 轮问答（问题不可与教程重复，作业截图需包括 gradio 界面问题和茴香豆回答）。这里需要添加知识库对应的名称及密码（如果没有相当于新建一个），这里我选择了关于一个关于医疗器械的文档作为我的知识库构建的材料。我通过创建了一个关于医疗器械方面的txt文件，用来作为对应的知识库，同时还调整了一下正例，操作如下所示。然后可以尝试添加正反例。webui展示，问题是。webui展示，问题是。
2024-08-27 21:09:52
256
原创 第三期书生大模型实战营之InternVL 微调实践
我们使用InternVL2-2B模型。该模型已在share文件夹下挂载好，现在让我们把移动出来。刚才复制进InternLM/datasets的数据是可以直接进行微调的数据集。我们把下面的代码替换进test_lmdeploy.py中，然后跑一下效果。用官方脚本进行权重合并。
2024-08-27 11:42:52
333
原创 第三期书生大模型实战营之MindSearch 部署
MindSearch是由上海人工智能实验室开发的一个基于大语言模型（LLM）和搜索引擎相结合的系统，继 OpenAI 发布 SearchGPT 之后，国内也涌现出一批优秀的AI搜索引擎，其中，由中科大和上海人工智能实验室联合研发的 MindSearch（思·索）尤为引人注目。这款开源AI搜索引擎，不仅性能媲美Perplexity.ai Pro，更重要的是，它跳脱了传统搜索引擎的窠臼，不再仅仅依赖关键词匹配，而是模拟人类的思维过程，深度理解用户的搜索意图，并提供更精准、更全面的搜索结果。
2024-08-26 20:48:06
959
原创 第三期书生大模型实战营之Lagent自定义agent智能体
首先，我们先使用 LMDeploy 部署 InternLM2.5-7B-Chat，并启动一个 API Server。使用 Lagent 自定义一个智能体，并使用 Lagent Web Demo 成功部署与调用，记录复现过程并截图。
2024-08-26 10:00:22
237
原创 第三期书生大模型实战营之XTuner微调个人小助手认知
OpenXLab 部署教程：https://github.com/InternLM/Tutorial/tree/camp2/tools/openxlab-deploy。使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，记录复现过程并截图。将自我认知的模型上传到 OpenXLab，并将应用部署到 OpenXLab。在资源允许的情况下，尝试实现多卡微调与分布式微调。用自己感兴趣的知识对基座模型进行增量预训练微调。
2024-08-04 15:57:44
259
原创 第三期书生大模型实战营之OpenCompass 评测 InternLM-1.8B 实践
使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 MMLU 数据集上的性能，记录复现过程并截图。
2024-08-04 13:36:59
290
原创 第三期书生大模型实战营之Llamaindex RAG实践
任务要求：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。确认这个模型是不知道xtuner是什么，再加入xtuner的文档，再尝试一遍。
2024-08-03 20:07:42
431
原创 第三期书生大模型实战营之浦语提示词工程实践
背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。任务要求：利用LangGPT优化提示词，使LLM输出正确结果。完成一次并提交截图即可。
2024-08-03 17:37:50
286
原创 第三期书生大模型实战营之8G 显存玩转书生大模型 Demo
接下来，使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。激活环境并安装 LMDeploy 以及其他依赖。
2024-08-01 14:04:53
518
原创 第三期书生大模型实战营之Git前置知识
每位参与者提交一份自我介绍。提交地址：https://github.com/InternLM/Tutorial 的 camp3 分支～创建一个个人仓库，用于提交笔记、心得体会或分享项目。
2024-07-13 16:05:59
204
1
原创 第三期书生大模型实战营之Python前置知识
使用本地vscode连接远程开发机，将上面你写的wordcount函数在开发机上进行debug，体验debug的全流程，并完成一份debug笔记。请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。
2024-07-13 14:53:45
323
原创 第三期书生大模型实战营之Linux 前置知识
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 HugginFace开源生态。InternStudio官方手册InternStudio官网想必各位对SSH这个词并不陌生，即使以前没有亲身接触过，听也听过很多遍了，那SSH究竟是什么呢？SSH全称Secure Shell，是一种网络安全协议，通过加密和认证机制实现安全的访问和文件传输等业务。
2024-07-11 19:28:31
736
原创 书生浦语实战营第二期之OpenCompass模型评测
详细的客观评测指引参见 https://opencompass.readthedocs.io/zh-cn/latest/advanced_guides/new_dataset.html由于客观评测只能反映模型在一些性能数据上的指标，没法完全真实地反映模型在与人类对话时的表现，因此需要在真实的对话场景下通过主观评测的方式翻译模型的真实性能。而由于完全靠人力来进行主观评测是费时费力的，因此有很多利用模型来进行主观评测的方式。这些方式主要可以分为以下几类：打分，对战，多模型评测等。
2024-04-29 22:37:47
1117
原创 书生浦语实战营第二期之茴香豆RAG智能助理
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
2024-04-29 22:11:02
598
原创 书生浦语实战营第二期之大模型趣味Demo
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。自由指令输入的图文写作能力： 浦语·灵笔2 可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。准确的图文问题解答能力：浦语·灵笔2 具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。
2024-04-28 23:48:12
765
1
原创 书生浦语实战营第二期之全链路开源体系
B站视频：https://www.bilibili.com/video/BV1Vx421X72D/InternLM2技术报告：https://arxiv.org/pdf/2403.17297.pdf。
2024-04-28 20:55:47
206
原创 书生浦语实战营第二期之AgentLego智能体
首先Lagent 中关于工具部分的介绍文档位于 https://lagent.readthedocs.io/zh-cn/latest/tutorials/action.html。step1: 继承 BaseAction 类step2: 实现简单工具的 run 方法；或者实现工具包内每个子工具的功能step3: 简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰下面将实现一个调用和风天气 API 的工具以完成实时天气查询的功能。
2024-04-28 13:53:05
561
原创 书生浦语实战营第二期之LMDeploy量化部署
LMDeploy使用AWQ算法，实现模型4bit权重量化。推理引擎TurboMind提供了非常高效的4bit推理cuda kernel，性能是FP16的2.4倍以上。
2024-04-26 20:49:53
1346
1
原创 书生浦语实战营第二期之Xtuner微调LLM
step1: 创建一个文件夹，并进入该文件夹step2: 创建一个存放数据的data文件夹step3: 使用generate_data.py生成训练数据。
2024-04-26 13:58:18
874
1
原创 windows系统下执行conda init 出现No action taken.(中文用户名)
执行conda init之后出现No action taken，考虑是自己的中文用户名导致的错误，本文提供了一种简单易上手的办法解决该问题。
2024-03-29 18:39:31
2359
1
原创 C++中的Pair基础用法
qquadPair是一种关联式容器，里面存储的是key, value形式的元素。如果你了解过Python，那你可以将Pair对象与Python中的字典数据类型进行类比学习。
2024-03-09 20:47:46
434
原创 Transformer简介（详细解释）
本篇博客主要介绍了关于Transformer的起源，应用领域等，同时对整个Transformer模型架构进行了解释性的说明，在后续博客中，我将对模型结构的各个部分进行详细的解释说明，同时会附上一些代码，方便读者理解。
2024-03-09 18:21:44
1261
原创 连接Sql Server时报错:无法通过使用安全套接字层加密与 SQL Server 建立安全连接
sql server突然报错为：SQLServerException: “Encrypt”属性设置为“true”且 “trustServerCertificate”属性设置为“false”，但驱动程序无法使用安全套接字层 (SSL) 加密与 SQL Server 建立安全连接。
2023-11-28 00:19:21
20140
14
原创 Java和JDK版本号
作为一个Java新手小白，常常被Java中关于各种版本号弄得稀里糊涂，本文通过自身经验及网上资料总结了关键的部分。Java版本号及JDK版本号的对应关系。Java版本号类似于Java SE 1.8这种形式，例如对应的JDK可以理解为JDK 8。
2023-11-26 14:02:19
1667
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人