![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 84
JasonLiu1919
却顾所来径,苍苍横翠微。
微信号:onepieceand
展开
-
Google最新开源大语言模型:Gemma 2介绍及其微调(上篇)
2024年6月27日,Google DeepMind发布了Gemma 2,这是Gemma系列轻量级开放语言模型的最新成员。Gemma 2在架构和训练方法上都有重大创新,在多项基准测试中取得了显著进步,甚至可以与参数规模大2-3倍的模型相媲美。本文将对Gemma 2技术报告的主要内容进行解读,包括模型架构、预训练和后训练方法、性能评估等方面。原创 2024-07-21 16:39:13 · 1339 阅读 · 0 评论 -
基于AutoGen的多Agent AI系统实践
AutoGen是一个由Microsoft开源的框架,专为构建和优化大型语言模型(LLM)工作流程而设计。它提供了多Agent会话框架、应用程序构建工具以及推理性能优化的支持。基于AutoGen框架使得能够方便地使用多Agent开发LLM应用程序。以下将介绍如何基于AutoGen构建和定制多Agent系统,使Agent能够扮演不同的角色。通过使用AutoGen框架,不同Agent可以协作完成复杂任务。原创 2024-07-14 19:31:11 · 946 阅读 · 0 评论 -
LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上?环境安装及其配置(上篇)
引言下载待部署模型安装minconda安装tvm和mlc-llm安装 JDK安装 Android SDK下载mlc-llm仓库设置环境变量安装Rust。原创 2024-06-23 14:49:59 · 1217 阅读 · 0 评论 -
LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上?实战演示(下篇)
为将Qwen大模型部署到手机,实现断网下Qwen模型正常使用,本文选择MLC-LLM框架。MLC LLM(机器学习编译大型语言模型,Machine Learning Compilation for Large Language Models) 是一种高性能的通用部署解决方案,将任何语言模型本地化部署在各种硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化自己模型性能。该项目的使命是使每个人都能够使用ML编译技术在各种设备上本机开发、优化和部署AI模型。原创 2024-04-04 16:39:06 · 3074 阅读 · 1 评论 -
LLM系列 | 28:实测Claude 3有感,OpenAI员工为啥没有竞业协议?
OpenAI的最强竞争对手Anthropic于3月4日发布了新一代AI 大模型系列:Claude 3。Claude 3 包含三个模型,按能力由弱到强排列分别是 Claude 3 Haiku(中杯)、Claude 3 Sonnet(大杯) 和 Claude 3 Opus(超大杯)。这些模型分别适用于不同场景,Opus能力最强,Sonnet平衡速度和能力,Haiku最快,适合互动型AI应用场景。原创 2024-03-10 23:27:55 · 1145 阅读 · 0 评论 -
模型推理加速系列 | 08:TensorRT-LLM助力LLM高性能推理
其实小编之前有介绍过关于如何用TensorRT提升模型推理速度,感兴趣的小伙伴可以回顾下:TensorRT-LLM 是一个开源库,用于定义、优化和执行大型语言模型 (LLM) 在生产环境的推理。它在开源 Python API 中保留了 FasterTransformer 的核心功能,并与 TensorRT 的深度学习编译器配合使用,以快速支持新模型和定制模型。原创 2023-12-23 11:10:50 · 1214 阅读 · 0 评论 -
LLM系列 | 27 : 天工大模型Skywork解读及揭露刷榜内幕引发的思考
Skywork是由昆仑万维集团·天工团队开发的一系列大型模型,计划开源的模型有Skywork-13B-Base模型(目前确实已开源)、Skywork-13B-Chat模型(暂时2023年11月12日还没有开源,可能在走备案和流程审批?)、Skywork-13B-Math模型(暂无)和Skywork-13B-MM模型(也暂无)。Skywork-13B是使用超过3.2万亿个中英文Token进行预训练得到的130亿参数双语基础语言模型系列(即所谓的基座模型)。原创 2023-11-15 23:00:58 · 1854 阅读 · 0 评论 -
OpenAI开发者大会之后,当何去何从?
此次发布会简单总结如下。1. 发布GPT-4 Turbo更长。支持128K上下文输入,标准GPT-4是8K版本,之前升级出了32K版本更可控。JSON格式输出,增加seed控制模型回复可复现更新的知识。GPT-4 Trubo的知识更新至2023年4月开放多模态能力,整合了文生图模型DALL·E 3和声音合成模型(TTS)以及语音识别模型Whisper V3等开放 Fine-Tuning功能,支持在GPT-4基础上微调进行模型定制输出速度更快,每分钟输出翻倍围绕ChatGPT构建应用生态。原创 2023-11-08 23:52:57 · 531 阅读 · 1 评论 -
LLM系列 | 26:阿里千问Qwen模型解读、本地部署
Qwen 是一个全能的语言模型系列,包含各种参数量的模型,如 Qwen(基础预训练语言模型,即基座模型)和 Qwen-Chat(聊天模型,该模型采用人类对齐技术进行微调)。基座模型在众多下游任务中始终表现出卓越的性能,而聊天模型,尤其是使用人类反馈强化学习(RLHF)训练的模型,具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力,可用于创建agent应用程序。即使在使用代码解释器等复杂任务上,Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。原创 2023-11-04 17:05:42 · 13526 阅读 · 0 评论 -
LLM系列 | 23:多模态大模型:浦语·灵笔InternLM-XComposer解读、实战和思考
浦语·灵笔模型是基于书生·浦语大语言模型研发的视觉-语言大模型图文交错创作: 浦语·灵笔可以为用户打造图文并貌的文章,具体是提供文章生成和配图选择的功能。理解用户指令,创作符合要求的文章。智能分析文章,自动规划插图的理想位置,确定图像内容需求。基于以文搜图服务,从图库中检索出对应图片。图文理解: 浦语·灵笔设计了高效的训练策略,为模型注入海量的多模态概念和知识数据,赋予其强大的图文理解和对话能力。从公布的技术报告可以获悉InternLM-XComposer在公开评测数据集上的战绩。原创 2023-10-27 23:19:18 · 1763 阅读 · 1 评论 -
LLM系列 | 22 : Code Llama实战(下篇):本地部署、量化及GPT-4对比
官方发布了3类Code Llama模型,每类都有三种模型尺寸:Code Llama:Base模型(即常说的基座模型),为通用的代码生成和理解而设计。Code Llama - Python:专门为Python而设计。Code Llama - Instruct:遵循指令,更加安全,可以作为代码助手。原创 2023-10-27 23:07:13 · 3910 阅读 · 1 评论 -
LLM系列 | 20 : Llama2 实战(下篇)-中文语料微调(附完整代码)
上篇主要介绍Llama2的基本情况和基于官方模型实测Llama2在中英上的效果,包括。今天这篇小作文作为Llama2的下篇,主要介绍如何用中文语料对Llama 2的基座模型(7B版)进行微调并实测微调后模型的效果。本文实验完整代码请找小编索取。后续将实战Code Llama感兴趣的小伙伴可以关注下!原创 2023-09-16 21:34:30 · 4417 阅读 · 0 评论 -
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
小伙伴们好,我是《小窗幽记机器学习》的小编:卖热干面的小女孩。紧接前文:万字长文细说ChatGPT的前世今生,后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长,所以分为上下两篇,上篇主要介绍和上的效果,包括。本文作为上篇,整个实验过程使用的模型是,包括和。下篇则主要介绍如何用中文语料对Llama 2的基座模型进行微调并实测微调后模型的效果。感兴趣的小伙伴,可以关注下!本文实验完整代码获取请前往《小窗幽记机器学习》找小编索取。原创 2023-08-24 23:46:30 · 6650 阅读 · 3 评论 -
万字长文细说ChatGPT的前世今生
本文主要介绍GPT模型的训练方法,包括预训练、监督微调、奖励建模和强化学习这四个阶段。不同微调模型具备不同特点,基础模型更富创造力,而强化学习微调后可获得最高质量的回复。在使用GPT的使用,可以利用提示工程技巧,比如提供充足上下文、引导模型步步思考等。当前模型依然存在各种局限,人类应谨慎而有效地将其应用于低风险的协作场景中,不能轻视其潜在风险。总体而言,本文系统地介绍了GPT的训练和使用,包括GPT助手模型的全流程及各种关键技巧。原创 2023-08-09 23:47:11 · 307 阅读 · 0 评论 -
如何优雅地下载huggingface上模型,以llama2模型下载为例
由于llama2模型的下载需要经过官方的授权,这就需要登陆hugging face的,对模型页面进行申请。等待审核通过后,才能够下载。如果在单纯用 git lfs 的方式进行下载,需要输入账号和密码。为了更快速地进行下载,既能够设置密码、也能够设置代理,采用脚本的方式会更加合适,不会因为随便改动代理而引发其他问题。原创 2023-07-25 19:57:37 · 14318 阅读 · 4 评论 -
LLM系列| 17:Claude2剑指ChatGPT,长文档问答,真香!
Claude 2刷新现有商业产品的输入上限,长达100k个token。同时支持多种如PDF、TXT等文档格式作为输入,在文档问答、文档大纲和摘要生成方面效果显著。文档问答效果是真不错,忍不住安利!但在面对稍微复杂表格(比如行列数据共用)的问答时仍然力不从心,有待优化。此外,对于编程题目的解答,Claude 2也存在较大提升空间。原创 2023-07-15 16:09:39 · 236 阅读 · 0 评论 -
LLM 系列 | 15:如何用LangChain做长文档问答?
西塞山前白鹭飞,桃花流水鳜鱼肥。小伙伴们好,我是微信公众号《》的小编:卖酱猪蹄的小女孩。。前文ChatGPT Prompt 工程和应用系列文章可以如下自取,预告一下该系列还有2篇小作文,后续补下。本文作为的开篇,以为例介绍如何使用LangChain。上添加小编微信。原创 2023-06-29 23:25:11 · 847 阅读 · 0 评论 -
LLM系列 | 14: 构建端到端智能客服
漠漠水田飞白鹭,阴阴夏木啭黄鹂。小伙伴们好,我是微信公众号《》的小编:卖海蛎煎的小男孩。今天这篇小作文是吴恩达《Building Systems with the ChatGPT API》课程的第3篇笔记。本文将综合之前多篇文章搭建一个带评估功能的。完整代码请在微信公众号:「小窗幽记机器学习」上添加小编微信。原创 2023-06-29 23:22:49 · 396 阅读 · 0 评论 -
LLM系列 | 13: 如何链接多个Prompt处理复杂任务?以智能客服为例
本文以更加复杂的智能客服场景为例,通过构建链接多个Prompt实现复杂的客服问答服务。在实际工作过程,对于复杂任务需要将其拆分为一系列简单的子任务来链接多个Prompt。这种链接多个Prompt的方式与此前介绍的思维链不同。思维链Prompt是使用一个长而复杂的指令,实质上只有一条Prompt,对任务的处理是一次完成。而链接多个Prompt是将一个任务拆解成多个模块,每个子任务单独用一个prompt完成。面对复杂的任务,通过分解成多个子任务,链接多个Prompt的方式,使其更易于管理,并减少错误的可能性。原创 2023-06-29 23:15:39 · 609 阅读 · 0 评论 -
LLM系列 | 12: 实测OpenAI函数调用功能:以数据库问答为例
小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:划龙舟的小男孩。注意,在定义functions规范时要将数据库的schema插入到函数规范中,这对模型来说是很重要的。通过上述示例可以确切感受openai函数调用功能的强大,这也为开发者构建更多稳健服务提供更强的保障。中,生成的SQL可能存在较高风险。因为模型在生成正确的 SQL 这方面暂不完全可靠,小伙伴们评估。本文将介绍如何将模型生成的结果输入到自定义的函数中,并利用该功能实现。以下直接介绍示例数据库相关细节。黑云翻墨未遮山,白雨跳珠乱入船。原创 2023-06-29 23:13:02 · 563 阅读 · 0 评论 -
LLM系列 | 11: LangChain危矣?亲测ChatGPT函数调用功能:以天气问答为例
该功能一定程度上对LangChain构成威胁,新增的Function calling功能将使得LangChain里将近30%的代码可以删掉,且各个应用服务结果的稳定性将大大提升。当然,LangChain也迅速做出应对,在OpenAI官推发布更新的10分钟之内,LangChain立马宣布"已经在做兼容工作了",并且在不到一个小时就发布了新版本以支持OpenAI的这一新功能。这篇小作文以天气咨询为例,说明如何在使用ChatGPT过程中融合自定义函数的使用,从而为用户提供更多样的服务,类似插件。原创 2023-06-22 10:05:54 · 1569 阅读 · 0 评论 -
LLM系列 |10: 如何编写思维链Prompt?以智能客服为例
今天这篇小作文是吴恩达《Building Systems with the ChatGPT API》课程的第1篇笔记,继续以智能客服场景为例,介绍如何编写ChatGPT的思维链Prompt从而为用户提供智能客服服务。在智能客服场景中,经常会有用户询问对比各种产品的价格,如何让智能客服提供准确的答案?这就需要在构建Prompt过程中引入思维链的编写方式。小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:卖红枣粽的小女孩。黄梅时节家家雨,青草池塘处处蛙。更多、更新文章欢迎关注。原创 2023-06-22 10:02:27 · 604 阅读 · 0 评论 -
LLM系列 | 09: 基于ChatGPT构建智能客服系统(query分类&安全审核&防注入)
这3点都是在构建具体应用过程必须要考虑的。通过OpenAI的内容审核接口可以检查用户输入的内容是否符合OpenAI的使用政策,包括识别是否存在不良信息、仇恨言论、暴力内容、色情内容等,并对其进行过滤或标记。小伙伴们好,我是卖热干面的小女孩。主要是配置 ChatGPT 的api key和封装调用ChatGPT api的函数。从上述结果可以看出,使用分隔符可以预防Prompt注入。从返回结果可以看出,ChatGPT对各个类别进行鉴别并返回对应的得分。,从回复的结果看,确实是用英文回复,而不是中文。原创 2023-06-18 16:50:33 · 659 阅读 · 0 评论 -
LLM 系列 | 08: 如何用ChatGPT构建点餐机器人?
你可以想象它在助手的耳边低语,引导它的回应,而用户不会注意到系统消息。所以我们现在追加另一个系统消息,它是另一条prompt,我们说创建一个刚刚订单的 JSON 摘要,列出每个项目的价格,字段应包括1)披萨,包括尺寸,2)配料列表,3)饮料列表,4)辅菜列表,包括尺寸,最后是总价格。现在我们已经给模型提供了上下文,也就是之前的对话中提到的我的名字,然后我们会问同样的问题,也就是我的名字是什么。给系统设置的消息是,“你是一个友好的聊天机器人”,第一个用户消息是,“是的,你能提醒我我的名字是什么吗?原创 2023-06-11 23:37:02 · 416 阅读 · 0 评论 -
LLM 系列 | 07:吴恩达ChatGPT Prompt课程实践:以智能客服邮件为例
例如,在一个特定的短语中,“我的最爱食品"最有可能的下一个词是"比萨”,其次最有可能的是"寿司"和"塔可"。因此,在温度系数为零时,模型将总是选择最有可能的下一个词,而在较高的温度系数下,它还将选择其中一个不太可能的词。这里指的文本扩展(Expanding)是将短文本,例如一组说明或主题列表,输入到大型语言模型LLM中,让模型生成更长的文本,例如基于某个主题的电子邮件或论文。原创 2023-06-08 23:39:54 · 910 阅读 · 0 评论 -
LLM 系列 | 06:ChatGPT Prompt实践:文本摘要&推断&转换
大型语言模型的一个非常好的特点是,对于许多这样的任务,你只需要编写一个prompt即可开始产生结果,而不需要进行大量的工作。同样,如果你试图总结在线购物电子商务网站的许多评论,对于这些评论来说,弄清楚是什么物品,谁制造了该物品,弄清楚积极和消极的情感,以跟踪特定物品或特定制造商的积极或消极情感趋势,可能会很有用。随着全球化与跨境商务的发展,交流的用户可能来自各个不同的国家,使用不同的语言,因此我们需要一个通用翻译器,识别各个消息的语种,并翻译成目标用户的母语,从而实现更方便的跨国交流。原创 2023-06-07 23:45:38 · 1152 阅读 · 0 评论 -
LLM 系列 | 05:ChatGPT Prompt的迭代优化
梅子留酸软齿牙,芭蕉分绿与窗纱。日长睡起无情思,闲看儿童捉柳花。小伙伴们好,我是微信公众号的小编:卖冰棍的小男孩。。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题,敬请关注。紧接前文,今天这篇小作文主要介绍ChatGPT Prompt 编写过程中的一些迭代优化细节。在机器学习里,先完成一个能跑通的模型,才能对它进行改进迭代;提示工程(prompt engineering)也一样,最初版本的 prompt 或许不够完美,需要学会如何一步步细化要求,进行迭代改进。原创 2023-06-03 15:46:54 · 409 阅读 · 0 评论 -
LLM 系列 | 04:ChatGPT Prompt编写指南
Prompt注入是指如果用户将某些输入添加到Prompt中,则可能会向模型提供与原本想要执行的操作相冲突的指令,从而使其遵循冲突的指令而不是执行真正想要的操作。在这个例子中,学生的答案是错误的,但如果我们没有先让模型自己计算,那么可能会被误导以为学生是正确的。例如,在以下的示例中,告诉模型其任务是以一致的风格回答问题,并先给它一个孩子和一个祖父之间的对话的例子。以下示例中,要求 ChatGPT 生成三本书的标题、作者和类别, 并要求以 Json 的格式返回给,为便于解析,还指定了 Json格式的键。原创 2023-06-03 11:12:33 · 930 阅读 · 0 评论 -
LLM系列 | 03:实测讯飞星火、文心一言、bing chat和chatgpt
绿树阴浓夏日长,楼台倒影入池塘。水晶帘动微风起,满架蔷薇一院香。小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:教形意拳的老男孩。更多、更新文章欢迎关注。后续会持续整理,敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT:星火的诞生。参与今天评测有以下4个:星火、文心一言、bing chat和chatgpt。原创 2023-05-07 23:47:52 · 814 阅读 · 0 评论 -
LLM系列 | 02: Vicuna简介及模型部署实测
Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型,数据集来自于ShareGPT.com产生的用户对话数据,共70K条。使用 GPT-4 作为判断的初步评估表明,Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量,同时在>90%的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。剧透下,后文实测效果,其实吧,还行吧。此外,将冗长的对话分成更小的部分,以适应模型的最大上下文长度。月黑见渔灯,孤光一点萤。原创 2023-04-30 16:53:37 · 9244 阅读 · 1 评论 -
LLM系列 | 01: 亲测ChatGPT最强竞品Claude,且无需翻墙、注册简单、免手机号
春风桃李花开日,秋雨梧桐叶落时。小伙伴好,我是微信公众号《小窗幽记机器学习》的小编:卖核弹的小女孩。原创 2023-04-22 17:38:30 · 2354 阅读 · 0 评论 -
【LLM系列】00:斯坦福 Alpaca 模型介绍及其复现
Stanford Alpaca是一个Instruction-following的LLaMA模型,即一个对LLaMA模型进行指令调优的结果模型。更多细节可以参考。原创 2023-04-21 23:30:21 · 2902 阅读 · 1 评论