AI人工智能:一文读懂「X」系列
文章平均质量分 91
随着AI的快速发展,有很多知识需要快速了解,但是针对某个技术点一般都会有很长很长的介绍视频,对于大家来说每个视频学习完都会比较耗费时间,趁着在复习,这个系列叫「一文读懂xxx」,涵盖生成式AI、chatgpt、注意力机制、RLHF等等,希望可以总结所学汇集精髓输出!相互交流~
女王の专属领地
尼采曰:每一个不曾起舞的日子,都是对生命的辜负!
展开
-
一文读懂AI安全治理框架
随着AI的发展以及研究,我们总会提到AI带来的一些潜在威胁,但截止目前我还没有完全的梳理过AI到底有哪些潜在的风险,今天就来一一看一下!原创 2024-09-18 14:49:20 · 177 阅读 · 0 评论 -
一文读懂Coze/扣子平台
官方定义:Coze 是新一代一站式 AI Bot 开发平台。无论你是否有编程基础,都可以在 Coze 平台上快速搭建基于 AI 模型的各类问答 Bot,从解决简单的问答到处理复杂逻辑的对话。并且,你可以将搭建的 Bot 发布到各类社交平台和通讯软件上,与这些平台/软件上的用户互动。原创 2024-08-23 13:38:13 · 1061 阅读 · 0 评论 -
一文搞懂数据标注
数据标注即通过分类、画框、标注、注释等,对图片、语音、文本等数据进行处理,标记对象的特征,以作为机器学习基础素材的过程。简言之,就是需要给数据做好标注,这样机器就能知道学习哪些内容。原创 2024-08-21 21:59:29 · 1590 阅读 · 0 评论 -
一文读懂推荐系统
推荐系统是一种信息过滤系统,它通过分析用户的行为和兴趣,自动地为用户推荐相关内容。这些内容可以包括新闻、音乐、电影、商品等各类信息。推荐系统的目的是帮助用户快速找到他们感兴趣的内容,提高用户体验。本质:推荐系统本质是要解决用户,物品(信息)和场景的连接问题。原创 2024-08-20 21:17:50 · 1160 阅读 · 0 评论 -
一文读懂「Prompt Engineering」提示词工程 进阶版
大白话讲背景:AI并不像人类那样拥有自主的常识和生活经验,它依赖于提示词提供的上下文信息。这意味着,提示词越清晰、越具体,AI越能理解你的意图。一句话定义:设计有效的提示词,以指导模型,执行期望任务的方法被称为提示工程。核心要素指令:想要模型执行的特定任务或指令。上下文:包含外部信息或额外的上下文信息,引导语言模型更好地响应。输入数据:用户输入的内容或问题。输出指示:指定输出的类型或格式。设计原则编写清晰、具体的指令;使用分隔符清晰地表示输入的不同部分,分隔符可以是:```,”“,,:, 等;原创 2024-08-20 01:00:16 · 1519 阅读 · 0 评论 -
一文读懂「Lang Chain」
LangChain赋予了开发人员将LLM与其他计算和知识来源相结合以构建应用程序的能力。使用LangChain,开发人员可以使用一个抽象LLM应用程序的核心构建块的框架。探索LangChain的能力并尝试其各个组件,会发现可能性几乎无限。LangChain框架提供了一种灵活和模块化的语言生成方法,允许创建根据用户特定需要量身定制的定制解决方案。原创 2024-02-06 17:15:09 · 17490 阅读 · 2 评论 -
一文读懂「四大主流计算芯片 CPU、GPU、ASIC、FPGA」特点和场景
功能:CPU具有通用性,适用于各种计算任务;GPU擅长图形渲染和并行计算;NPU专注于神经网络的训练和推理计算;TPU专为机器学习任务而设计。并行能力:GPU和TPU具有更多的处理核心和更高的并行计算能力,适合处理大规模并行计算任务。硬件加速:NPU和TPU采用专门的硬件加速技术,能够高效地执行特定类型的计算任务。应用领域:CPU广泛应用于个人电脑、服务器等各种设备;GPU主要应用于游戏、动画制作、科学计算等领域;NPU常用于人脸识别、语音识别等人工智能应用;TPU常用于深度学习任务和自然语言处理等领域。原创 2024-02-06 13:28:07 · 3457 阅读 · 0 评论 -
一文读懂「LM,Large Model / Foundation Model」大模型
大模型是指具有大量参数的机器学习模型,通常指深度学习模型。首先,大模型这个词是建立在神经网络模型上的。神经网络是一种基于生物学神经系统结构和功能的计算模型,旨在模仿人脑的学习和决策过程该模型由多个神经元组成,这些神经元通过权重连接形成层次结构,通常分为输入层、隐藏层和输出层。输入层接收原始数据,输出层产生最终的输出,而隐藏层在这两者之间进行中间处理。神经网络通过学习调整连接权重,从而能够识别模式、进行分类、回归等任务。原创 2024-02-03 19:56:42 · 3329 阅读 · 0 评论 -
一文读懂「MOE,Mixed Expert Models」混合专家模型
混合专家(Mixture of Experts,简称MoE)是一种集成学习方法,它通过将多个专业化的子模型(即“专家”)组合起来,形成一个整体模型,每一个“专家”都在其擅长的领域内做出贡献。而决定哪个“专家”参与解答特定问题的,是一个称为“门控网络”的机制。每个专家模型可以专注于解决特定的子问题,而整体模型则能够在复杂的任务中获得更好的性能。MoE提出的前提是如果有一个包括了多个领域知识的复杂问题,我们该使用什么样的方法来解决呢?原创 2024-02-03 14:19:23 · 2799 阅读 · 1 评论 -
快速了解!AI领域最全的大模型术语!!!
Transformer:Transformer 是一种基于自注意力机制(self-attention mechanism)的深度学习模型,最初是为了处理序列到序列(sequence-to-sequence)的任务,比如机器翻译。后续这些模型都是基于Transformer 开发的。GPT(GPT-3、GPT-3.5、GPT-4):全称为Generative Pre-training Transformer,是OpenAI开发的一种基于Transformer的大规模自然语言生成模型。原创 2024-01-31 15:39:37 · 2098 阅读 · 0 评论 -
一文读懂「RAG,Retrieval-Augmented Generation」检索增强生成
检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念,这使它们能够生成准确且符合上下文的答案,同时能够减少模型幻觉。知识的局限性:模型自身的知识完全源于它的训练数据,而现有的主流大模型(ChatGPT、文心一言、通义千问…)的训练集基本都是构建于网络公开的数据,对于一些实时性的、非公开的或离线的数据是无法获取到的,这部分知识也就无从具备。幻觉问题。原创 2024-01-20 17:17:52 · 8299 阅读 · 6 评论 -
一文读懂「Embedding」嵌入技术
Embedding 是一种将高维数据(如文本或图像)转换为较低维度的向量表示的技术。这种表示捕捉了数据的关键特征,使得在处理、分析和机器学习任务中更加高效。通常用于将离散的、非连续的数据转换为连续的向量表示,以便于计算机进行处理。“Embedding”直译是嵌入式、嵌入层。通俗讲,我们常见的地图就是对于现实地理的Embedding,现实的地理地形的信息其实远远超过三维,但是地图通过颜色和等高线等来最大化表现现实的地理信息。原创 2024-01-31 14:43:25 · 2756 阅读 · 0 评论 -
一文读懂「PTMs , Pre-training models」预训练模型
预训练模型是指在大规模数据集上预先进行训练的神经网络模型,通常在通用任务上学习到的特征可以被迁移到其他特定任务中。预训练模型的思想是利用大规模数据的信息来初始化模型参数,然后通过微调或迁移学习,将模型适应在特定的目标任务上。即在训练结束时结果比较好的一组权重值,研究人员分享出来供其他人使用。我们可以在github上找到许多具有权重的库。原创 2024-01-22 14:31:31 · 2725 阅读 · 0 评论 -
一文读懂「Fine-tuning」微调
微调是指在预训练模型(Pre-trained model)的基础上,针对特定任务或数据领域,对部分或全部模型参数进行进一步的训练和调整(Fine Tune)。预训练模型通常是在大规模数据集上训练得到的,具有一定的通用性和泛化能力。微调的目标是在较小的目标数据集上,通过有限的训练数据,使模型更好地适应特定任务,从而提高模型在该任务上的性能。原创 2024-01-19 17:54:56 · 1495 阅读 · 0 评论 -
一文读懂「RLHF」基于人类反馈的进行强化学习
RLHF就是基于人类反馈(Human Feedback)对语言模型进行强化学习(Reinforcement Learning),和一般的fine-tune过程乃至prompt tuning自然也不同。多种策略产生样本并收集人类反馈训练奖励模型训练强化学习策略,微调 LM首先需要一个预训练语言模型,通过大量的语料去训练出基础模型,对于ChatGPT来说就是GPT-3。还有一个可选的Human Augmented Text,又叫Fine-tune。原创 2024-01-18 12:50:48 · 11144 阅读 · 0 评论 -
一文读懂「GAN,Generative Adversarial Network」生成对抗网络
生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。模型通过框架中(至少)两个模块:生成模型()和判别模型()的互相博弈学习产生相当好的输出。定义:生成对抗网络(GAN)由2个重要的部分构成生成器(Generator):通过机器生成数据(大部分情况下是图像),目的是“骗过”判别器判别器(Discriminator。原创 2017-11-06 15:06:46 · 524 阅读 · 2 评论 -
一文读懂「LLM,Large Language Model」大语言模型
概念大语言模型是一种建立在 Transformer 架构上的大规模神经网络程序,其功能主要是理解和处理各种语言文字。这种模型的优势在于,其能够在多种任务中实现通用学习,无须对特定语言文字进行大量定制,是目前人类世界中第一个通用的人工智能模型。当我们讨论大语言模型时,主要是关注如何让计算机能够理解和生成人类语言。简单来说,大语言模型是一种算法,其目标是理解语言的规则和结构,然后应用这些规则和结构生成有意义的文本。这就像让计算机学会了“文字表达”。原创 2024-01-16 01:18:36 · 874 阅读 · 0 评论 -
一文读懂「AIGC,AI Generated Content」AI生成内容
AIGC要素:算力 + 算法+ 数据AIGC发展重点AIGC产业链路AIGC未来方向。原创 2024-01-15 19:09:11 · 1218 阅读 · 0 评论 -
一文读懂「LLM的幻觉/涌现」问题
1、幻觉定义大模型生成看似合理的内容,其实这些内容是不正确的或者是与输入Prompt无关,甚至是有冲突的现象,即生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容。2、幻觉类型输入冲突幻觉Input-conflicting:生成的内容与用户提供的输入不符;输入冲突幻觉指的是LLM生成的内容与用户提供的源输入(①任务指示:例如用户对摘要的提示和②任务输入:例如需要摘要的文档)不一致。当LLM生成的内容偏离用户的输入时,就会出现这种幻觉。原创 2024-01-05 07:54:51 · 2053 阅读 · 0 评论 -
一文读懂「Prompt Engineering」提示词工程 基础版
提示工程(Prompt Engingering),也被称为上下文提示(In-Context Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。其主要依赖于经验,而且提示词工程方法的效果在不同的模型中可能会有很大的差异,因此需要大量的实验和探索。提示工程旨在获取这些提示并帮助模型在其输出中实现高准确度和相关性,掌握提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。原创 2024-01-10 17:46:45 · 11517 阅读 · 0 评论 -
一文读懂「Chain of Thought,CoT」思维链
Chain-of-Thought(CoT)是一种改进的Prompt技术,目的在于提升大模型LLMs在复杂推理任务上的表现,对于复杂问题尤其是复杂的数学题大模型很难直接给出正确答案。如算术推理(arithmetic reasoning)、常识推理(commonsense reasoning)、符号推理(symbolic reasoning)。COT通过要求模型在输出最终答案之前,显式输出中间逐步的推理步骤这一方法来增强大模型的算数、常识和推理能力。简单,但有效。2022 年,在 Google 发布的论文。原创 2024-01-10 13:42:21 · 15443 阅读 · 0 评论 -
一文读懂「MLLM,Multimodal Large Language Model」多模态大语言模型
模态是事物的一种表现形式,多模态通常包含两个或者两个以上的模态形式,是从多个视角出发对事物进行描述。生活中常见多 模态表示,例如传感器的数据不仅仅包含文字、图像,还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面,多模态研究成为当前研究重要方面,在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model,LLM)为基础,融入其它非文本的模态信息,完成各种多模态任务。MLLM定义为“原创 2024-01-09 07:06:15 · 3209 阅读 · 0 评论 -
一文读懂「Attention」注意力机制
Attention(注意力)机制如果浅层的理解,核心逻辑就是**「从关注全部到关注重点」**。Attention 机制很像人类看图片的逻辑,当我们看一张图片的时候,我们并没有看清图片的全部内容,而是将注意力集中在了图片的焦点上。视觉系统就是一种Attention机制,将有限的注意力集中在重点信息上,从而节省资源,快速获得最有效的信息。销售在销售东西的时候,不同角色关注到的重点不一样。原创 2024-01-08 15:12:21 · 772 阅读 · 0 评论 -
一文读懂「AI Agent」智能体
智能体agent是通过传感器感知环境(收集信息)并通过执行器作用于该环境(采取行动)的事物大语言模型和 AI Agent 的区别1. 在于 AI Agent 可以独立思考并做出行动,和 RPA 的区别在于它能够处理未知环境信息。ChatGPT 诞生后,AI 从真正意义上具备了和人类进行多轮对话的能力,并且能针对相应问题给出具体回答与建议。原创 2020-09-30 11:59:18 · 25607 阅读 · 1 评论 -
一文读懂「Transformer」算法模型
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型,现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制,不采用 RNN 的顺序结构,使得模型可以并行化训练,而且能够拥有全局信息。原创 2024-01-08 14:58:23 · 1220 阅读 · 0 评论 -
一文读懂「ChatGPT,Chat Generative Pre-trained Transformer」基于GPT的聊天机器人
ChatGPT是一种基于人工智能技术的自然语言处理NLP系统,它由OpenAI开发。GPT是Generative Pre-trained Transformer的缩写,是一种使用基于Transformer模型的预训练语言模型,通过对大规模语言数据的预训练和微调来实现自然语言的理解和生成。ChatGPT是GPT模型的一种应用,旨在实现智能化的对话交互。它可以通过处理大量的语言数据,实现对人类语言的理解和生成,从而实现智能化的对话交互。原创 2024-01-07 23:49:10 · 831 阅读 · 0 评论 -
一文读懂「BERT,Bidirectional Encoder Representations from Transformers」原理
BERT是一种预训练语言模型(pre-trained language model, PLM),全称是Bidirectional Encoder Representations from Transformers。它在问答 (SQuAD v1.1)、自然语言推理 (MNLI) 等各种 NLP 任务中展都超越了目前最先进的结果。BERT 的关键技术创新是将流行的注意力模型 Transformer 的双向训练应用于语言建模。论文的结果表明,双向训练的语言模型比单向语言模型可以更深入地感知语言上下文环境。原创 2024-01-06 15:00:17 · 748 阅读 · 0 评论 -
一文读懂「Diffusion Model,DM」扩散模型
扩散模型是一种特殊的VAE,其灵感来自于热力学:一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里,就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。从这个角度出发,我们可以对VAE做以下修改:1)不再训练一个可学习的编码器,而是把编码过程固定成不断添加噪声的过程;2)不再把图像压缩成更短的向量,而是自始至终都对一个等大的图像做操作。解码器依然是一个可学习的神经网络,它的目的也同样是实现编码的逆操作。不过,既然现在编码过程变成了加噪,那么解码器就应该负责去噪。原创 2024-01-07 23:55:23 · 870 阅读 · 0 评论