![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 91
.别止步春天.
这个作者很懒,什么都没留下…
展开
-
Self-Attention自注意力机制解读(2):图解版!
上一篇文章Self-Attention自注意力机制:深度学习中的动态焦点 | 手把手实例解析 看不懂你打我以简单的例子引入了Self-Attention,并且以一句话简单的句子:“The cat sat on the mat.”为例做了手把手讲解,我们以每个单词作为一个向量,对这组向量进行一系列操作,最终得到了一个加权求和表格。上篇文章侧重具体的例子,我们使用了一系列实际的向量数值,带大家计算了一遍,但是对于Self-Attention的整个过程的理解展现的还不够,不如图片来的直观。原创 2024-08-17 17:58:10 · 471 阅读 · 0 评论 -
Self-Attention自注意力机制:深度学习中的动态焦点 | 手把手实例解析 看不懂你打我
在探索自然语言处理(NLP)和其他序列建模任务中,注意力机制已经成为了一个不可或缺的工具。它使得模型能够聚焦于输入数据中的关键部分,而不仅仅是按照顺序处理信息。在这篇文章中,我们将探讨一种特别的注意力机制——自注意力(Self-Attention),并解释它如何改变了我们构建神经网络的方式。自注意力是一种特殊的注意力机制,它允许模型关注输入序列的不同位置以计算表示向量。与传统的循环神经网络(RNN)相比,自注意力机制不需要按照顺序处理序列中的每个元素,这大大加快了训练速度,并且能够在长距离依赖上表现出色。原创 2024-08-17 12:03:33 · 431 阅读 · 0 评论 -
机器学习|什么是梯度下降(小白向)|探寻最优解之路
我们身处人工智能的时代,各种算法层出不穷,令我们眼花缭乱,望而却步,那么有没有一种核心的,最基础的算法,能够作为一把钥匙帮助我们打开机器学习领域的大门呢,那就是“梯度下降法”啦,那么,什么是梯度?为什么要下降?怎么下降呢?想象一下,你在一座大山的山顶上,你的目标是找到下山最快的路径。梯度下降算法的工作方式与此类似,只不过是在数学空间中寻找函数最小值的过程。它是一种迭代优化算法,用于最小化或最大化一个函数(在机器学习中通常是损失函数),通过沿着函数梯度的反方向移动来逐步调整参数。原创 2024-08-15 17:21:12 · 857 阅读 · 0 评论