![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 88
JasonLiu1919
却顾所来径,苍苍横翠微。
微信号:onepieceand
展开
-
Google最新开源大语言模型:Gemma 2介绍及其微调(上篇)
2024年6月27日,Google DeepMind发布了Gemma 2,这是Gemma系列轻量级开放语言模型的最新成员。Gemma 2在架构和训练方法上都有重大创新,在多项基准测试中取得了显著进步,甚至可以与参数规模大2-3倍的模型相媲美。本文将对Gemma 2技术报告的主要内容进行解读,包括模型架构、预训练和后训练方法、性能评估等方面。原创 2024-07-21 16:39:13 · 1339 阅读 · 0 评论 -
基于AutoGen的多Agent AI系统实践
AutoGen是一个由Microsoft开源的框架,专为构建和优化大型语言模型(LLM)工作流程而设计。它提供了多Agent会话框架、应用程序构建工具以及推理性能优化的支持。基于AutoGen框架使得能够方便地使用多Agent开发LLM应用程序。以下将介绍如何基于AutoGen构建和定制多Agent系统,使Agent能够扮演不同的角色。通过使用AutoGen框架,不同Agent可以协作完成复杂任务。原创 2024-07-14 19:31:11 · 945 阅读 · 0 评论 -
LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上?环境安装及其配置(上篇)
引言下载待部署模型安装minconda安装tvm和mlc-llm安装 JDK安装 Android SDK下载mlc-llm仓库设置环境变量安装Rust。原创 2024-06-23 14:49:59 · 1217 阅读 · 0 评论 -
LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上?实战演示(下篇)
为将Qwen大模型部署到手机,实现断网下Qwen模型正常使用,本文选择MLC-LLM框架。MLC LLM(机器学习编译大型语言模型,Machine Learning Compilation for Large Language Models) 是一种高性能的通用部署解决方案,将任何语言模型本地化部署在各种硬件后端和本机应用程序上,并为每个人提供一个高效的框架,以进一步优化自己模型性能。该项目的使命是使每个人都能够使用ML编译技术在各种设备上本机开发、优化和部署AI模型。原创 2024-04-04 16:39:06 · 3074 阅读 · 1 评论 -
模型推理加速系列 | 08:TensorRT-LLM助力LLM高性能推理
其实小编之前有介绍过关于如何用TensorRT提升模型推理速度,感兴趣的小伙伴可以回顾下:TensorRT-LLM 是一个开源库,用于定义、优化和执行大型语言模型 (LLM) 在生产环境的推理。它在开源 Python API 中保留了 FasterTransformer 的核心功能,并与 TensorRT 的深度学习编译器配合使用,以快速支持新模型和定制模型。原创 2023-12-23 11:10:50 · 1214 阅读 · 0 评论 -
LLM系列 | 27 : 天工大模型Skywork解读及揭露刷榜内幕引发的思考
Skywork是由昆仑万维集团·天工团队开发的一系列大型模型,计划开源的模型有Skywork-13B-Base模型(目前确实已开源)、Skywork-13B-Chat模型(暂时2023年11月12日还没有开源,可能在走备案和流程审批?)、Skywork-13B-Math模型(暂无)和Skywork-13B-MM模型(也暂无)。Skywork-13B是使用超过3.2万亿个中英文Token进行预训练得到的130亿参数双语基础语言模型系列(即所谓的基座模型)。原创 2023-11-15 23:00:58 · 1854 阅读 · 0 评论 -
OpenAI开发者大会之后,当何去何从?
此次发布会简单总结如下。1. 发布GPT-4 Turbo更长。支持128K上下文输入,标准GPT-4是8K版本,之前升级出了32K版本更可控。JSON格式输出,增加seed控制模型回复可复现更新的知识。GPT-4 Trubo的知识更新至2023年4月开放多模态能力,整合了文生图模型DALL·E 3和声音合成模型(TTS)以及语音识别模型Whisper V3等开放 Fine-Tuning功能,支持在GPT-4基础上微调进行模型定制输出速度更快,每分钟输出翻倍围绕ChatGPT构建应用生态。原创 2023-11-08 23:52:57 · 531 阅读 · 1 评论 -
LLM系列 | 26:阿里千问Qwen模型解读、本地部署
Qwen 是一个全能的语言模型系列,包含各种参数量的模型,如 Qwen(基础预训练语言模型,即基座模型)和 Qwen-Chat(聊天模型,该模型采用人类对齐技术进行微调)。基座模型在众多下游任务中始终表现出卓越的性能,而聊天模型,尤其是使用人类反馈强化学习(RLHF)训练的模型,具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力,可用于创建agent应用程序。即使在使用代码解释器等复杂任务上,Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。原创 2023-11-04 17:05:42 · 13525 阅读 · 0 评论 -
LLM系列 | 23:多模态大模型:浦语·灵笔InternLM-XComposer解读、实战和思考
浦语·灵笔模型是基于书生·浦语大语言模型研发的视觉-语言大模型图文交错创作: 浦语·灵笔可以为用户打造图文并貌的文章,具体是提供文章生成和配图选择的功能。理解用户指令,创作符合要求的文章。智能分析文章,自动规划插图的理想位置,确定图像内容需求。基于以文搜图服务,从图库中检索出对应图片。图文理解: 浦语·灵笔设计了高效的训练策略,为模型注入海量的多模态概念和知识数据,赋予其强大的图文理解和对话能力。从公布的技术报告可以获悉InternLM-XComposer在公开评测数据集上的战绩。原创 2023-10-27 23:19:18 · 1762 阅读 · 1 评论 -
LLM系列 | 20 : Llama2 实战(下篇)-中文语料微调(附完整代码)
上篇主要介绍Llama2的基本情况和基于官方模型实测Llama2在中英上的效果,包括。今天这篇小作文作为Llama2的下篇,主要介绍如何用中文语料对Llama 2的基座模型(7B版)进行微调并实测微调后模型的效果。本文实验完整代码请找小编索取。后续将实战Code Llama感兴趣的小伙伴可以关注下!原创 2023-09-16 21:34:30 · 4417 阅读 · 0 评论 -
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
小伙伴们好,我是《小窗幽记机器学习》的小编:卖热干面的小女孩。紧接前文:万字长文细说ChatGPT的前世今生,后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长,所以分为上下两篇,上篇主要介绍和上的效果,包括。本文作为上篇,整个实验过程使用的模型是,包括和。下篇则主要介绍如何用中文语料对Llama 2的基座模型进行微调并实测微调后模型的效果。感兴趣的小伙伴,可以关注下!本文实验完整代码获取请前往《小窗幽记机器学习》找小编索取。原创 2023-08-24 23:46:30 · 6649 阅读 · 3 评论 -
万字长文细说ChatGPT的前世今生
本文主要介绍GPT模型的训练方法,包括预训练、监督微调、奖励建模和强化学习这四个阶段。不同微调模型具备不同特点,基础模型更富创造力,而强化学习微调后可获得最高质量的回复。在使用GPT的使用,可以利用提示工程技巧,比如提供充足上下文、引导模型步步思考等。当前模型依然存在各种局限,人类应谨慎而有效地将其应用于低风险的协作场景中,不能轻视其潜在风险。总体而言,本文系统地介绍了GPT的训练和使用,包括GPT助手模型的全流程及各种关键技巧。原创 2023-08-09 23:47:11 · 307 阅读 · 0 评论 -
《人类简史》作者尤瓦尔·赫拉利最新访谈:《人性、智能、权力和阴谋》
赫拉利在访谈中阐释了他对AI、意识、人性、和平等的独到见解,让我们审视这个时代的种种关键议题。赫拉利分析了人工智能的风险,呼吁我们不能仅凭智能来判断一个存在,还要考量其是否具备意识和情感。痛苦是判断生命的唯一标准,理解痛苦本质才是接近生命意义的关键,情感体验高于理性逻辑。此外,赫拉利还介绍了自己的思考方式,直视死亡,并通过冥想获得洞见。赫拉利分析了希特勒、内塔尼亚胡和俄乌冲突等问题。对于阴谋论,他指出小团体不可能控制世界,我们需要合作应对共同威胁。而AI则可能让人类失去对自己生活的控制,需要保持警惕。原创 2023-07-23 18:19:59 · 240 阅读 · 0 评论