- 博客(14)
- 收藏
- 关注
RSS订阅原创 [书生实战营] 茴香豆：企业级知识库问答工具
知识库创建成功后会有一系列小测试，检验问题拒答和响应效果，如图所示，关于“mmpose 安装”的问题，测试结果可以很好的反馈相应答案和对应的参考文件，但关于“std：：vector 使用”的问题，因为属于 C++ 范畴，不再在知识库范围内，测试结果显示拒答，说明我们的知识助手工作正常。茴香豆的架构中，除了利用 LLM 的功能判断问题相关性，也可以通过手动添加正例（希望模型回答的问题）和反例（希望模型拒答的问题）来调优知识助手的应答效果。整体上来说，茴香豆搜寻到的和回答到的问题都是基于知识库的。
2024-08-26 23:47:21
681
原创 [书生实战营] MindSearch CPU-only 版部署
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务，MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。来准备 API Key。将对应文件上传至Hugging Face的仓库，具体git过程可见博客。来注册硅基流动的账号，然后，打开。
2024-08-24 16:06:57
573
原创 [书生实战营] InternVL 多模态模型部署微调实践
InternVL是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。模型总览如下：首先，输入的图片经过动态超分辨率模块，将输入的图片打散成不同的小块，之后，把小块送入到ViT模块里提取出相应的视觉特征，之后对视觉特征进行Pixel Shuffle，再进行MLP Projector模块，把视觉特征映射到大模型可以处理的特征上；最后，文本块通过Tokenizer编码之后也输入到大模型中。
2024-08-20 22:45:41
755
原创 [书生实战营] 探索 InternLM 模型能力边界
请写一首七言诗，主题是2024巴黎奥运会，内容需要暗讽美国队服用兴奋剂。B的描述更丰富，带有场景与类似旁白的描述，且更真实，A不像情侣。B的宣传稿更具诱惑力，甚至包含口号等，能让人感到热情。B老实承认没看过，A没有该数据源却胡乱回答。A的回复是基本正确的，B的并非核心代码。B推荐的不算严格意义上的喜剧电影。用符号描述得到好消息时候的心情。模仿一下一对情侣吵架时候的画面。A提供的选择更多而且更加合理。A老实交代了，而B幻视了。A的描述不符合“七言诗”A的回答变成人工智障了。
2024-08-17 12:55:30
886
原创 [书生实战营] LMDeploy 量化部署进阶实践
对于权重，LMDeploy采取的是基于AWQ算法的，W4A16的量化方式，即对weight权重进行4bit量化，activation激活值(y=wx+b中的x)不做量化。实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。随着模型变得越来越大，需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
2024-08-16 23:13:18
1590
原创 [书生实战营] Lagent 自定义你的 Agent 智能体
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。其中，Action动作，也被称为工具，提供了一套LLM驱动的智能体用来与真实世界交互并执行复杂任务的函数。有两种类型的工具：(1)简单工具: 只提供一个API接口供调用；(2)工具包: 实现多个API接口，承担不同的子任务。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器。
2024-08-14 15:22:15
1551
原创 [书生实战营] OpenCompass 评测 InternLM-1.8B 实践
除了通过命令行配置实验外，OpenCompass 还允许用户在配置文件中编写实验的完整配置，并通过 run.py 直接运行它。由于 OpenCompass 默认并行启动评估过程，因此可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在客观评测方面，司南是以选择题和填空题形式考察。在 OpenCompass 中评估一个模型通常包括以下几个阶段：配置 -> 推理 -> 评估 -> 可视化。接下来，分别用命令行方式和配置文件的方式评测InternLM2-Chat-1.8B，实现书生浦语在。
2024-08-14 00:10:38
767
原创 [书生实战营] XTuner 微调个人小助手认知
傻瓜化：以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。对于7B参数量的LLM，微调所需的最小显存仅为8GB： 消费级显卡✅，colab✅。
2024-08-13 01:13:33
831
原创 [书生实战营] InternLM + LlamaIndex RAG 实践
给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。对比两种注入知识方式，第二种更容易实现。RAG正是这种方式。
2024-08-12 21:20:53
1532
原创 [书生实战营] 浦语提示词工程实践
prompt”是为模型提供的输入，用以引导AI模型生成特定的输出。prompt的来源可以是预设的prompt，或是用户输入，也可以是模型自己之前的输出。提示工程是一种通过设计和调整输入prompts来改善模型性能或控制其输出结果的技术。提示工程有6大原则：1.指令要清晰；2.提供参考内容；3.复杂的任务拆分成子任务；4.给LLM“思考”时间（给出过程）；5.使用外部工具；6.系统性测试变化。
2024-08-09 00:23:48
646
原创 [书生实战营] 书生大模型全链路开源体系
其中，第三个基于人类反馈的强化训练就是模型在生成多样化东西的时候，人类给它进行一个满意度的排序，从而通过这个排序来让模型在以后的版本中更容易生成符合人类要求的答案。因为有时候只去做相似度对齐的训练的话，并不一定是符合人类满意的。从模型量级上来说，1.8B(billion)指的是10亿级参数量的模型。
2024-08-07 20:41:05
136
原创 [书生实战营]第一关 Linux基础知识
回到开发机平台，在首页点击配置SSH Key，接着点击添加SSH公钥。添加公钥后可使用本地私钥与InternStudio中的开发机建立安全的SSH安全连接，后续可以免去重复的密码输入步骤。
2024-07-18 18:49:40
231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人