人工智能
文章平均质量分 92
程序员_大白
这个作者很懒,什么都没留下…
展开
-
图解Transformer工作原理(非常详细)零基础入门到精通,收藏这一篇就够了
Transformer 已经成为了前沿人 AI 技术的代名词,尤其是在自然语言处理(NLP)这一领域。那么,是什么使得 Transformer 能够如此高效准确地掌握语言的复杂性呢?让我们一起深入探索 Transformer 架构的核心原理。但在此之前,不妨先看看它的应用场景。谷歌翻译:这个被广泛使用的工具在很大程度上依靠 Transformer 技术,实现了对超过 100 种语言的快速准确翻译。它能够考虑到整个句子的上下文,而非仅仅是单个词语,使得翻译结果更加自然流畅。原创 2024-08-16 21:13:13 · 997 阅读 · 0 评论 -
多模态大模型入门指南(非常详细)零基础入门到精通,收藏这一篇就够了
如表1所示,对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后,简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型,旨在处理交错的视觉数据和文本,生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架,包括用于弥补模态差距的轻量级 Q-Former ,实现对冻结 LLMs 的充分利用。利用 LLMs,BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。原创 2024-08-15 19:57:57 · 1045 阅读 · 0 评论 -
大模型时代的 AI 产品经理何去何从?(非常详细)零基础入门到精通,收藏这一篇就够了
每天 LLM 相关的资讯都让人过载。作为 AI 产品经理,你是更兴奋呢,还是更担忧呢?整理了一下个人近期的思考,欢迎感兴趣的朋友一起交流。不管答案如何,相信我们都不应置身事外。1关于大模型我非常认同的一种说法是:大模型本质上是压缩、存储继而理解知识的一种方式。其中储藏的海量知识,可以通过 Prompt 被轻松提取出来,用于查询、生成甚至复杂推理,具备很强的泛化能力。为什么说这是本质呢?因为这为我们带来了把 NLP(自然语言处理)技术变成通用能力方案的可能性。原创 2024-08-14 19:08:05 · 1109 阅读 · 0 评论 -
AI大模型大爆发,产品经理还有前途吗(非常详细)零基础入门
随着通用人工智能的日渐成熟,必将造成大量过剩劳动力,再也没有社会价值,这已经不是危言耸听了,我所在公司已经有很多岗位受到冲击,大幅缩减人力需求了。至于chatGPT等通用人工智能会不会取代产品经理这个职业?我的看法是,目前还不会,甚至还可能因此增加岗位需求。我的理由主要是这几点:1、产品经理这个职业,很大程度上是个“非制式”的职业。原创 2024-08-13 20:48:53 · 691 阅读 · 0 评论 -
如何高效应用大模型(非常详细)零基础入门到精通,收藏这一篇就够了
❝大型语言模型(LLMs)通常是指具有数千亿参数的Transformer语言模型,这些模型在大规模文本数据上进行训练。LLMs展示了强大的自然语言理解能力和通过文本生成解决复杂任务的能力。2018年后预训练大语言模型的文本理解能力在一些测评上首度超越人类。进而发现一个趋势:增加参数和数据是进一步提高模型性能的有效手段。大模型掌握丰富的知识:世界知识、常识、逻辑推理,只需要少量的提示或者微调,就能激发模型完成指定的任务。❞在推动机器语言智能方面,语言建模(LM)是一种重要的技术方法之一。原创 2024-08-07 17:30:33 · 1119 阅读 · 0 评论 -
大模型RAG入门及实践(非常详细)零基础入门到精通,收藏这一篇就够了
说了这么多,下面我们来介绍一下什么是 RAG。RAG 是检索增强生成(Retrieval Augmented Generation )的简称,它为大语言模型 (LLMs) 提供了从数据源检索信息的能力,并以此为基础生成回答。简而言之,RAG 结合了信息检索技术和大语言模型的提示功能,即模型根据搜索算法找到的信息作为上下文来查询回答问题。无论是查询还是检索的上下文,都会被整合到发给大语言模型的提示中。RAG 的架构如图中所示。它既不是一个特定的开源代码库,也不是某个特定的应用,是一个开发框架。原创 2024-08-06 19:02:12 · 1043 阅读 · 0 评论 -
大模型RAG实战|构建知识库:文档和网页的加载、转换、索引与存储,零基础入门到精通,收藏这一篇就够了
今天,开始写一个新的系列《大模型RAG实战》。上个月我在2篇文章中,介绍了如何使用LlamaIndex框架,通过少量代码,实现本地可部署和运行的大模型RAG问答系统。我们要开发一个生产级的系统,还需要对LlamaIndex的各个组件和技术进行深度的理解、运用和调优。本系列将会聚焦在如何让系统实用上,包括:知识库的管理,检索和查询效果的提升,使用本地化部署的模型等主题。我将会讲解相关的组件和技术,辅以代码示例。最终这些文章中的代码将形成一套实用系统。过去一年,大模型的发展突飞猛进。原创 2024-08-06 18:54:37 · 1397 阅读 · 0 评论 -
一个产品经理的大模型观察、反思与预测
LLM 产品经理可以不写 PRD,但一定要去搞数据:给 LLM 训练的数据集”原创 2024-08-05 09:40:49 · 789 阅读 · 0 评论 -
大模型微调方法总结(非常详细)零基础入门到精通,收藏这一篇就够了
本文介绍了大模型微调的一些高效方法,国内大部分公司都是走的微调的路子。预训练难度也很大,这两年应届生有预训练经验的人凤毛棱角。但微调门槛低很多,单张卡就能微调13B的模型。有微调的经验面试应该还是比较加分的,甚至可以自己尝试微调一个LLaMA2 7B。如果简历里项目经历不够,这都可以包装成一份项目经历了。Anyway,希望读完本文各位对大模型微调方法有所了解。原创 2024-08-04 06:45:00 · 2018 阅读 · 0 评论 -
北航发布LlamaFactory,零代码大模型微调平台,一键快速实现大模型训练/微调/评估
本文提出LLAMA FACTORY,一个集成了一套高效训练方法的统一大型语言模型微调框架。它允许用户灵活定制100+ LLM的微调,而无需通过内置的web UI LLAMA板进行编码。实证验证了该框架在语言建模和文本生成任务上的效率和有效性。目前已在Github上开源,地址https://github.com/hiyouga/LLaMA-Factory。原创 2024-08-03 08:00:00 · 1149 阅读 · 0 评论 -
当下最容易上手的大模型微调工具是谁?LLamaFactory或是其中之一,零基础入门到精通,收藏这一篇就够了
近日,国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》,对他们的框架做了系统性的总结。该框架自推出后迅速出圈,现已斩获15.6k的star,逐步成为当下微调的首选工具。模型微调相较于上下文学习来讲,存在比较高的门槛,但又是模型专业化,领域化不可或缺的技术手段。原创 2024-08-02 17:53:48 · 640 阅读 · 0 评论 -
大模型微调项目 / 数据集调研汇总,零基础入门到精通,收藏这一篇就够了
本文主要总结本人最近跑过的大模型微调项目。相信大家这几个月都会不断新出的微调大模型项目刷屏,频率基本每天都有高星的项目诞生,部分还宣称自己达到GPT的百分之多少,一方面弄得大家过度乐观,一方面弄得大家焦虑浮躁。面对这种情况,我的建议是「多动手」。把这些项目 clone 下来,跑跑代码,把项目用到的数据集下载下来做做EDA,把项目训练完的checkpoint下载下来,用自己的例子跑跑。多接触反而心态平定了许多。回归正题,这篇博文聊聊一些热门的大模型微调项目。原创 2024-08-01 11:52:52 · 1122 阅读 · 0 评论 -
如何高效微调大模型?五大前沿 PEFT 技术为你揭晓,零基础入门到精通,收藏这一篇就够了
大模型的微调一直是一个复杂而资源密集的任务。然而,近年来出现了一些高效的微调技术(PEFT),使得这一过程变得更加简便和高效。本文将详细介绍几种主要的 PEFT 技术,包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1 和 P-Tuning v2。Adapter Tuning 是一种在 2019 年提出的创新微调技术,旨在通过添加额外的适配层来提高模型的微调效率。原创 2024-08-01 11:48:39 · 773 阅读 · 0 评论 -
大模型是什么?大模型可以在哪些场景应用落地?零基础入门到精通,收藏这一篇就够了
大模型是什么?大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域,大模型通常是指具有数百万到数十亿参数的神经网络模型。大模型是指模型具有庞大的参数规模和复杂程度的机器学习模型。在深度学习领域,大模型通常是指具有数百万到数十亿参数的神经网络模型。这些模型需要大量的计算资源和存储空间来训练和存储,并且往往需要进行分布式计算和特殊的硬件加速技术。大模型的设计和训练旨在提供更强大、更准确的模型性能,以应对更复杂、更庞大的数据集或任务。原创 2024-07-29 21:15:27 · 392 阅读 · 0 评论 -
如何使用大语言模型进行数据标注(非常详细)零基础入门到精通,收藏这一篇就够了
数据标注是大语言模型(LLMs)的一个重要应用。在这篇文章中,我将分享使用ChatGPT(API版本3.5和4)进行Aspect-Based Sentiment Analysis(ABSA)即基于方面的情感分析之后获得的一些见解和知识。我选择ABSA作为示例,是因为它是一个具有挑战性的任务,并且我之前在没有依赖LLMs的情况下,已经在一些研究和行业项目中处理过类似任务。例如,我的团队曾经训练并提供了一个基于BERT的ABSA 模型,您可以通过以下链接访问。原创 2024-07-29 21:06:38 · 1216 阅读 · 0 评论 -
2024版最新SRC漏洞挖掘思路手法(非常详细),零基础入门到精通,收藏这一篇就够了
这段时间挖掘了挺多的SRC漏洞,虽然都是一些水洞,也没有一些高级的漏洞挖掘利用手法,但是闲下来也算是总结一下,说说我对SRC漏洞挖掘的思路技巧。很多人可能都挖过很多漏洞其中包括一些EDU或者别的野战,但是对于SRC往往无从下手,感觉自己挖不倒SRC漏洞,这里其实最重要的问题还是自己的心理问题,当然必须还有一定的技术能力。很多都感觉自己挖那种大厂的漏洞都挖不倒,挖上一两个小时或者半个小时就不挖了,没什么进展,往往这种想法是错误的,其实对于一些src漏洞挖掘和别的站点漏洞挖掘都大差不大,但是为什么都感觉自己挖不原创 2024-07-27 10:58:45 · 1133 阅读 · 0 评论 -
大模型学习路线(非常详细)零基础入门到精通,收藏这一篇就够了
在大模型时代,经常听到向量这个词,比如向量检索,相似度计算等。那么要怎样理解自然语言处理NLP(Natural Language Processing)中的向量呢?我们今天通过介绍一个简单的例子来理解向量。相信你看完之后,心里就明白了。本文重点介绍共现矩阵,首先看到矩阵两个字先不用慌,本文对文科生和理科生一样友好而平滑。共现矩阵是自然语言处理中一种用来表示词语之间关系的工具。原创 2024-07-28 09:30:00 · 540 阅读 · 0 评论 -
一文读懂以LLM为核心的AI Agent的架构指南(非常详细)零基础入门到精通,收藏这一篇就够了
AI Agent,也称为AI智能体,是人工智能系统的一个分支,它们能够感知环境,做出决策,并执行任务以实现特定目标。AI Agent的应用领域广泛,包括客户服务、医疗诊断、股市交易、智能交通和教育辅导等。原创 2024-07-28 08:15:00 · 378 阅读 · 0 评论 -
380页大模型开发实战教程,从搭建私有机器人开始,零基础入门到精通,收藏这一篇就够了
人工智能能够赋能经济社会发展各领域,下游各个领域的产业升级对大模型的需求持续走高。例如,在泛交通领域,人工智能能够在自动驾驶、智能座舱、运行管理优化等多个方面为汽车行业创造价值;在医疗方面,人工智能可以提高疾病检测的效率以及医学影像领域的智能化分析。据测算,2022 年中国人工智能行业市场规模为 3,716 亿人民币,预计2027 年将达到 15,372 亿人民币,有望在下游制造、交通、金融、医疗等多领域不断渗透,实现大规模落地应用。原创 2024-07-27 08:45:00 · 1006 阅读 · 0 评论 -
大模型的训练过程解析(非常详细)零基础入门到精通,收藏这一篇就够了
今天和大家聊聊大模型的训练的三个阶段,分别为有监督学习(SFT)、奖励模型训练(RW)与强化学习(PPO)阶段,我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架,并将decoder中的Multi-head Attention层删除,其结构和计算过程如上图。原创 2024-07-26 11:46:59 · 1099 阅读 · 0 评论 -
AI大模型入门指南(非常详细)零基础入门到精通,收藏这一篇就够了
AI大模型是指拥有大量参数的机器学习模型,这些参数可以达到数十亿甚至数千亿。它们通过深度学习技术,能够处理和学习复杂的数据模式,执行语言理解、图像识别和自然语言处理等多种任务。在工作原理上,AI大模型基于深度神经网络架构,通过模拟人脑神经元的连接方式,从大量数据中学习规律。这些模型通过不断优化自身的参数,提高对各种输入的预测和响应的准确性。简而言之,AI大模型通过海量数据训练,不断学习并改进其性能,以达到或超越人类专家在特定任务上的表现。原创 2024-07-24 19:14:41 · 1010 阅读 · 0 评论 -
大模型从原理到应用开发(非常详细)零基础入门到精通,收藏这一篇就够了
从新技术的爆发周期来看,AI革命正逢其时,这是技术带给我们每一个人的千载难逢的良机。AI应用的爆发期可能还需要2-3年的时间,killer app暂时没有进入大众用户人群是符合客观规律的。桌面程序时代,互联网时代,移动互联网时代,都催生了大量独角兽,唯独AI时代,仍然有大量空白区域虚位以待。——原创 2024-07-23 14:43:09 · 1014 阅读 · 0 评论 -
2024国内主流AI大模型架构及应用场景深度分析(非常详细)零基础入门到精通,收藏这一篇就够了
◼ 产业级知识增强大模型,夫嫩行业大模型发展百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的 AI 底座,大幅降低了 AI 开发和应用门槛。文心大模型一大特色是“知识增强”,百度自研的多源异构知识图谱拥有超过 5,500 亿条知识,被融入到文心大模型的预训练中。文心大模型凭借海量数据和大规模知识的融合学习,能实现更高的效率、更好的效果、更强的可解释性。◼ 大模型架构分三层体系。原创 2024-07-22 09:45:51 · 1016 阅读 · 0 评论 -
大模型训练平台整理(非常详细)零基础入门到精通,收藏这一篇就够了
只需单击一下即可实现类似 ChatGPT 的模型训练,与 SOTA RLHF 系统相比,速度提高了 15 倍,在所有规模上都实现了前所未有的成本降低源代码类似ChatGPT的模型所带来的革命性影响,并指出尽管AI开源社区在努力使这类模型更易于访问,但仍存在训练效率和资源方面的挑战。,旨在简化ChatGPT类模型的训练和推理过程,并通过高效的流水线设计使RLHF训练变得快速、经济实惠且易于AI社区访问。原创 2024-07-22 09:33:46 · 1279 阅读 · 0 评论 -
AI大模型应用在哪些行业场景?(非常详细)零基础入门到精通,收藏这一篇就够了
随着人工智能技术的加速演进,AI大模型已成为全球科技竞争的新高地、未来产业的新赛道、经济发展的新引擎,发展潜力大、应用前景广。自2023年7月至2024年6月,从接待封闭开发的客户数据看,【北京doublebee封闭研发空间】的新客户几乎都是做人工智能的。不难看出,由于我国高度重视人工智能的发展,将其上升为国家战略,出台一系列扶持政策和规划,为AI大模型产业发展创造了良好的环境,各企业都在跃跃欲试,踩住机遇,迎风口前行,将大模型产业的应用落地将进一步被提速。原创 2024-07-21 08:45:00 · 574 阅读 · 0 评论 -
大模型应用元年,到底有哪些场景可以实际落地?(非常详细)零基础入门到精通,收藏这一篇就够了
很多企业和个人都号称自己打造了AI大模型实际落地场景,其中有噱头、蹭热点,也有真实落地应用的。下面我将聊聊有哪些应用是真实落地可执行的。原创 2024-07-19 17:37:49 · 774 阅读 · 0 评论