十二月的猫

RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是： 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能。结合现实来看，我们每一个人的性格特点都是由以往所有的经历所造成的。离现在时间点越久远的经历对现在的我们影响越小，而发生在最近的经历对我们的影响越大。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即。

1、注意力机制是一个方法群体的总称（父类）2、自注意力、交叉注意力机制都是对注意力机制的继承，对QKV来源进行了限制3、注意力机制本身对QKV的限制仅仅在操作方法上4、自注意力机制主要用于单一序列的内部分析；交叉注意力机制用于多模态学习（多序列分析）

自注意力机制最关键的点在于：K、Q、V来源于同一个X，这三者是同源的现在外界只提供一个待查询对象X，我们需要从这个对象中提炼出板块分配K， 爱好信息Q，以及实际查询对象V提炼的方式：1、分配三个参数给Q、K、V2、通过监督学习提供的大量数据，来学习的值3、实现通过内部数据学习得到三个信息。

神经网络中的注意力机制（Attention Mechanism）是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。在神经网络学习中，一般而言模型的参数越多则模型的表达能力越强，模型所存储的信息量也越大，但这会带来信息过载的问题。那么通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。

在我的第一篇《深度学习的发展历史（深度学习入门、学习指导）-CSDN博客》中，介绍了深度学习模型发展的一个全进程。在这一个深度学习历史上最早出现的就是MCP人工神经元模型，这个模型有一个相当有名的算法——感知器（也称为单层感知机本篇文章，我们就来讲一讲这个神经网路\深度学习邻域的老祖宗模型单层感知机是机器学习中最基础的方法之一，其本质和逻辑回归有一定的相似，两者都是接受输入，然后会根据输入返回一个输出（两者的区别在于损失函数激活函数选择不同）。单层感知机选用sign函数作为激活函数，选用。