![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大语言模型
文章平均质量分 87
谢白羽
无论东西
展开
-
AI大模型预先学习笔记十四:向量数据库chromadb
【代码】AI大模型预先学习笔记十四:向量数据库chromadb。原创 2024-08-12 02:25:42 · 335 阅读 · 0 评论 -
大模型面试总结
的时间(推理的时间) -》降低模型的推理延迟。吞吐率 = 处理的请求数/处理需求的时间。-》增大模型并行处理请求的能力。②增强大模型的并行处理能力。②分子是一次处理的条数(①降低模型的推理延迟。原创 2024-07-28 11:09:13 · 489 阅读 · 0 评论 -
大模型学习笔记十四:Agent模型微调
1、Agent Tuning 的主要动机是训练大模型的 Agent 能力,尤其是希望通过训练让小参数量模型也能具备特定业务场景的 Agent 能力;2、Agent Prompt 可以有不同的描述方式,通常包括等部分;3、可以采用自动评估和人工评估相结合的方法来评估 Agent 能力;4、采用 Meta-Agent 方法可以构建多样性的 Agent Prompt 模板,再结合Query、Tools的多样化,可以训练出能力更加泛化的模型。原创 2024-07-24 22:42:04 · 678 阅读 · 0 评论 -
AI大模型预先学习笔记二:prompt提问大模型、langchain使用大模型框架、fine tune微调大模型
一、Prompt Engineering1)环境准备2)交互代码的参数备注3)交互代码二、LangChain(一个框架名字)1)LangChain核心介绍:I/O模块、数据链接模块、2)I/O模块(Prompts、Language models、Output parsers)3)数据链接模块(Data connection)三、Fine-tuning(微调)原创 2024-01-14 21:16:48 · 999 阅读 · 0 评论 -
AI大模型预先学习笔记三:使用Assistants API快速搭建领域专属AI助手
介绍OpenAI的第一手发布者API文档,也就是相当于GPT的API①基本对话能力②手机电脑双端适配③随意选择风格④Retrieval 获取外部数据的能力,从文档获得的信息⑤Function call 可以调用外部函数的能力(注册给这个demo)原创 2024-01-16 12:51:33 · 1110 阅读 · 0 评论 -
大模型面试题总结
一、大模型(LLMs)基础面二、大模型(LLMs)进阶面三、大模型(LLMs)微调面四、大模型(LLMs)langchain面1. 基于LLM+向量库的文档对话 基础面2. 基于LLM+向量库的文档对话 优化面3. LangChain的概念面试问题4.LangChain的一些模块提问5.LangChain的业务提问6.LangChain的问题解决五、LoRA、QLoRA、AdaLoRA篇六、Fine tune1)基础概念2)为什么需要 P-tuning v2?3)为什么需要 P-原创 2024-01-24 15:51:27 · 1336 阅读 · 0 评论 -
大模型学习笔记一:大模型应开发基础(模型归类选型、安全因素选型、)
1)产品和大模型的区别(产品通过调用大模型来具备的能力)2)AGI定义概念:一切问题可以用AI解决3)大模型通俗原理根据上文,猜测下一个词4)大模型测试代码prompt = "今天我很"# prompt = "下班了,今天我很"# prompt = "放学了,今天我很"# prompt = "AGI 实现了,今天我很"原创 2024-01-25 20:10:29 · 634 阅读 · 0 评论 -
大模型学习笔记二:prompt工程
OpenAI GPT 对 Markdown 格式友好。③纯OpenAI让系统简单好维护。Claude 对 XML 友好。②减少prompt能更加省钱。①自制代码能让问答更加可控。OpenAI 官方出了。教程,并提供了一些示例。原创 2024-02-09 20:48:44 · 1659 阅读 · 0 评论 -
大模型学习笔记三:Function Calling
官方文档:https://www.xfyun.cn/doc/spark/Web.html#_2-function-call%E8%AF%B4%E6%98%8E。1、只有 gpt-3.5-turbo-1106 和 gpt-4-1106-preview 可用本次课介绍的方法。2、gpt-3.5-turbo 是 gpt-3.5-turbo-1106 的别名。3、gpt-4 和 gpt-4-1106-preview 是两个不同的模型。3、延迟非常高(至少两次GPT-4生成,和一次Web API调用)原创 2024-02-22 14:25:02 · 4559 阅读 · 2 评论 -
大模型学习笔记四:LangChain开发框架解析
1、模型I/O封装LLMs:大语言模型Chat Models:一般基于LLMs,但按对话结构重新封装PromptTemple:提示词模板OutputParser:解析输出2、数据连接封装Document Loaders:各种格式文件的加载器Document transformers:对文档的常用操作,如:split,filter,translate,extract metadata,etcTextr Embedding Models:文本向量化表示,用于检索等操作。原创 2024-02-23 03:15:31 · 1345 阅读 · 0 评论 -
大模型学习笔记五:RAG
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程:1、文档加载,并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程:Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。原创 2024-03-04 18:27:17 · 1309 阅读 · 0 评论 -
大模型学习笔记六:Semantic Kernel
定义介绍1、Semantic Kernel 是微软研发的一个开源的,面向大模型的开发框架(SDK);2、它支持你用不同开发语言(C#/Python/Java)基于 OpenAI API/Azure OpenAI API/Huggingface 开发大模型应用;3、它封装了一系列开箱即用的工具,包括:提示词模板、链式调用、规划能力等。SDK(补充说明)SDK:Software Development Kit,它是一组软件工具和资源的集合,旨在帮助开发者创建、测试、部署和维护应用程序或软件。原创 2024-03-12 19:59:26 · 1600 阅读 · 0 评论 -
AI大模型额外学习一:斯坦福AI西部世界小镇笔记(包括部署和源码分析)
①背景介绍②总体逻辑让小镇的NPC自由交流、开party、生活有条不紊③总结:Ai会感知周边环境,并将视野里发生的事件记录下来,加入自己的记忆流。之后,不论是Ai计划要做的事,还是对外界的反应,都会受到这个记忆的影响,并依靠ChatGPT进行决策,最后决策的事件也会加入记忆流,形成新的记忆。让NPC具备记忆系统,并依靠大语言模型来帮助NPC做出行动决策①项目有后端服务器backend_server和前端服务器frontend_server②storage会保存程序运行的记录信息。原创 2024-03-15 19:15:57 · 2488 阅读 · 5 评论 -
大模型学习笔记七:LLM应用
1)管理一个 LLM 应用的全生命周期,需要用到以下工具:1、调试 Prompt 的 Playground2、测试/验证系统的相关指标3、数据集管理4、各种指标监控与统计:访问量、响应时长、Token费等等2)根据自己的技术栈,选择:1、LangFuse:开源平台,支持 LangChain 和原生 OpenAI API2、LangSmith: LangChain 的原始管理平台3、Prompt Flow:开源平台,支持 Semantic Kernel。原创 2024-03-20 18:53:19 · 1212 阅读 · 0 评论 -
大模型学习笔记八:手撕AutoGPT
③开始主循环推理,若输出结果为FINISH就break,否则就执行选择出来的action,并更新短识记忆。①初始化常识和短识的记忆(短识记忆初始化为空,常识是连接向量数据库)④若大于最大思考步数,则输出未能完成任务。原创 2024-04-03 19:00:56 · 734 阅读 · 0 评论 -
大模型学习笔记九:模型微调
一、什么时候需要Fine-Tuning二、用Hugging Face根据电影评论输出来对电影进行情感分类1)安装依赖2)操作流程3)名字解释4)代码导入库和加载模型、加载数据库、加载tokenlizer5)其他相关公共变量赋值(随机种子、标签集评价、标签转token_Id)6)处理数据集:转成模型接受的输入格式7)定义数据规整器:训练时自动将数据拆分成Batch8)定义训练超参:比如学习率9)定义训练器10)# 开始训练11)加载训练后的模型进行推理(参考)三、训练集和验证集的关系原创 2024-05-15 13:52:12 · 239 阅读 · 0 评论 -
大模型学习笔记十:多模态大模型
一、多模态大预言模型(MLLM)的定义二、(图-文)多模态模型的发展历程三、GPT4v以及Gemini-Pro实战四、图文对话系统的搭建五、Beyond VL:支持多模态输入的大预言模型六、使用多模态大预言模型完成更多任务原创 2024-05-15 13:53:53 · 386 阅读 · 0 评论 -
大模型额外篇章一:用huggingface的电影评论数据集情感分类训练模型
工具:huggingface目的:情感分类输入:电影评论输出:标签 [‘neg’,‘pos’]或。原创 2024-05-22 16:26:21 · 436 阅读 · 0 评论 -
大模型额外篇章二:基于chalm3或Llama2-7b训练酒店助手模型
一、代码部分讲解二、实际部署步骤(CHALM3训练步骤)1)注册AutoDL官网实名认证2)花费额度挑选GPU3)准备实验环境4)开始执行脚本5)从浏览器访问6)可以开始提问7)开始微调模型8)测试训练后的模型三、基于Llama2-7b的训练四、额外补充1)修改参数后2)如果需要访问科学的彼岸原创 2024-05-27 02:33:21 · 1098 阅读 · 0 评论 -
大模型学习笔记十一:视觉大模型
不过需要注意,这个模型也会生成非全年龄向的内容 作者:琉璃汐阳 https://www.bilibili.com/read/cv24890845/ 出处:bilibili。所以可根据你想画什么风格画风的画,来选择对应表现较好的模型 作者:琉璃汐阳 https://www.bilibili.com/read/cv24890845/ 出处:bilibili。发布者:indigowing(个人主页:https://civitai.com/user/indigowing/models),能掌握数据本身的边界信息。原创 2024-07-17 02:30:49 · 563 阅读 · 0 评论 -
大模型学习笔记十二:AI产品部署
①定义:是一个快速且容易使用的库,用于大语言模型LLM的推理和服务1)速度快,每个请求需要3个并行输出完成时的服务器吞吐量,比huggingface transformer的吞吐量高出8.5到15倍,比huggingface文本生成推理TGI的吞吐量高3.3到3.5倍2)优化的cuda内核3)与huggingface模型无缝集成4)支持张量并行处理,实现分布式推理5)支持滚式输出。原创 2024-07-20 22:51:10 · 825 阅读 · 0 评论 -
大模型学习笔记十三:工作流
②直接进行CoT控制(尤其是用自然语言表达CoT,也就是思维链)会输出思考过程,但我们不希望用户看到这个过程。③ 随着工作进展出现的新信息,对任务时序、编排有依赖的信息,不一定能在单次请求中一次性完成输入。① 上下文窗口长度限制、输出长度限制(早期的LangChain长文本Summarize)②能够将模型单次请求调用视作一个工作节点。③能够灵活将其他代码逻辑也写入工作节点。⑤能够在工作节点之间进行数据传递。①将工作任务拆分成多个工作节点。④能够对工作节点进行任务编排。原创 2024-07-23 00:43:57 · 524 阅读 · 0 评论