![](https://img-blog.csdnimg.cn/direct/33357216d1a9427b918bbcea91a5eb64.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习基础知识
文章平均质量分 95
在这个专栏中,我们将深入探讨深度学习的基础知识,并使用PyTorch这一强大的深度学习框架来实践。PyTorch以其易用性、灵活性和强大的功能,在科研和工业界中广受欢迎。本专栏旨在帮助初学者和有一定基础的读者更好地理解和应用深度学习。
十二月的猫
山东大学软件工程专业在读本科二年级,iLearn实验室成员(时间序列、语言模型方向)、健身爱好者、红楼迷。曾获得国家奖学金、社会奖学金等国家级、校级、院级奖学金。
展开
-
深度学习的发展历史(深度学习入门、学习指导)
从深度学习模型历史发展的路线原创 2024-03-26 20:53:06 · 1575 阅读 · 0 评论 -
注意力机制(四)(多头注意力机制)
前文,我们介绍了自注意力机制:自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息,但是也存在一些可以改进的地方。例如:对于一个待分析的序列矩阵,它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的,所以一次性学习多特征的信息必然会造成信息学习的模糊性,所以作者又提出了多头注意力机制下图为多头注意力机制模型图:它为注意力机制提供了多个投射子空间的可能。原创 2024-04-28 17:51:04 · 2388 阅读 · 0 评论 -
通俗易懂说模型——RNN
RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能。结合现实来看,我们每一个人的性格特点都是由以往所有的经历所造成的。离现在时间点越久远的经历对现在的我们影响越小,而发生在最近的经历对我们的影响越大。RNN之所以称为循环神经网路,即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中,即。原创 2024-04-25 11:24:35 · 976 阅读 · 0 评论 -
注意力机制(三)(不同注意力机制对比)
1、注意力机制是一个方法群体的总称(父类)2、自注意力、交叉注意力机制都是对注意力机制的继承,对QKV来源进行了限制3、注意力机制本身对QKV的限制仅仅在操作方法上4、自注意力机制主要用于单一序列的内部分析;交叉注意力机制用于多模态学习(多序列分析)原创 2024-04-24 09:12:28 · 1460 阅读 · 2 评论 -
注意力机制(二)(自注意力机制)
自注意力机制最关键的点在于:K、Q、V来源于同一个X,这三者是同源的现在外界只提供一个待查询对象X,我们需要从这个对象中提炼出板块分配K, 爱好信息Q,以及实际查询对象V提炼的方式:1、分配三个参数给Q、K、V2、通过监督学习提供的大量数据,来学习的值3、实现通过内部数据学习得到三个信息。原创 2024-04-19 20:54:08 · 1191 阅读 · 0 评论 -
注意力机制(一)(基本思想)
神经网络中的注意力机制(Attention Mechanism)是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案。在神经网络学习中,一般而言模型的参数越多则模型的表达能力越强,模型所存储的信息量也越大,但这会带来信息过载的问题。那么通过引入注意力机制,在众多的输入信息中聚焦于对当前任务更为关键的信息,降低对其他信息的关注度,甚至过滤掉无关信息,就可以解决信息过载问题,并提高任务处理的效率和准确性。原创 2024-04-19 14:57:45 · 1558 阅读 · 2 评论 -
通俗易懂说模型——单层感知器(MCP人工神经元模型)
在我的第一篇《深度学习的发展历史(深度学习入门、学习指导)-CSDN博客》中,介绍了深度学习模型发展的一个全进程。在这一个深度学习历史上最早出现的就是MCP人工神经元模型,这个模型有一个相当有名的算法——感知器(也称为单层感知机本篇文章,我们就来讲一讲这个神经网路\深度学习邻域的老祖宗模型单层感知机是机器学习中最基础的方法之一,其本质和逻辑回归有一定的相似,两者都是接受输入,然后会根据输入返回一个输出(两者的区别在于损失函数激活函数选择不同)。单层感知机选用sign函数作为激活函数,选用。原创 2024-04-01 15:31:51 · 1244 阅读 · 0 评论