![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 70
深度学习
惊雲浅谈天
这个作者很懒,什么都没留下…
展开
-
BP神经网络
前置知识:机器学习基本概念:监督学习与无监督学习、线性回归、梯度下降。BP(Back-propagation,反向传播),在模拟过程中收集系统所产生的,返回这些误差到输出值(反向传播),并用这些误差来调整神经元的权重。神经网络其实就是几层神经元,每层神经元里有几个神经元点。不同层级之间的神经元相互连接,每一个神经元只负责三件事:输入、判断、输出。通常,为了方便实际操作,我们令每一层的神经元数量相等。记权重矩阵为W,输入S,输出O,真值T,误差E,三者为列向量。即实际就是梯度下降。原创 2023-12-29 15:57:56 · 492 阅读 · 0 评论 -
CNN卷积神经网络
前置知识:BP神经网络。我们给计算机一个标准的图形,然后把需要识别的图形与标准图形进行比对,并进行判断二者是否一致。CNN会把未知图形与标准图形进行逐个局部比对。每一个局部尽心比对的计算过程就是卷积操作。卷积是指对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重:因为每个神经元的多个权重固定,所以又可以看做一个恒定的滤波器filter)做内积的操作。原创 2023-12-29 16:04:06 · 387 阅读 · 0 评论 -
RNN循环神经网络
前置知识:BP神经网络、CNN卷积神经网络。网络会对前面的信息进行记忆并应用于当前输出的计算中,即隐藏层之间的节点不再无连接而是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。每一步的输出不仅仅依赖当前步的网络,并且还需要前若干步网络的状态,这种BP改版的算法叫做Backpropagation Through Time。对于梯度消失:有特殊的方式存储“记忆”,那么以前梯度比较大的”记忆”不会像简单的RNN一样马上被抹除。原创 2023-12-29 23:21:45 · 367 阅读 · 0 评论 -
LSTM算法
前置知识:RNN循环神经网络LSTM(Long Short Term Memory长短期记忆网络)——目前使用最多的时间序列算法。LSTM是对RNN循环神经网络的一种优化,能够有效的延缓梯度爆炸以及梯度消失的问题。普通的RNN在隐藏层中只传递一个状态值 h,而LSTM不仅传递 h,还新增了一个状态值 C,每一层隐藏层中的每一个神经元都接收上一时刻传递的 h{t-1} 和 c{t-1} ,经过计算得到 h{t} 和 c{t} 再传入下一时刻。原创 2023-12-29 23:28:20 · 1461 阅读 · 0 评论 -
GRU算法
前置知识:RNN,LSTM。它将忘记门和输入门合并成为一个单一的更新门,同时合并了数据单元状态和隐藏状态,使得模型结构比之于LSTM更为简单。rt就是重置门,得到rt后,将rt与上一时刻传入的ht-1进行点乘,得到重置之后的数据,并与xt进行拼接。LSTM需要训练的参数很多,极消耗计算资源。GRU是一种LSTM的改进算法,参数更少,更容易训练。h'包含了输入信息xt,经过选择后的上一时刻的信息h't-1,(1-z)*h':表示对包含当前节点信息的h'选择性的记忆。z*ht-1:表示对隐藏状态选择性的遗忘;原创 2024-01-01 22:10:10 · 802 阅读 · 0 评论 -
Attention机制
前置知识:RNN,LSTM/GRU。在一般任务的Encoder-Decoder框架中,输入Source和输出Target内容是不一样的,比如对于英-中机器翻译来说,Source是英文句子,Target是对应的翻译出的中文句子,Attention机制发生在Target的元素和Source中的所有元素之间。问题在于:将整个序列的信息压缩在了一个语义编码C中,用一个语义编码C来记录整个序列的信息,如果序列是长序列,那么只用一个语义编码C来表示整个序列的信息肯定会产生大量损失,且容易出现梯度消失的问题。原创 2024-01-01 22:16:18 · 1198 阅读 · 0 评论 -
Self-Attention
前置知识:RNN,Attention机制。在一般任务的Encoder-Decoder框架中,输入Source和输出Target内容是不一样的,比如对于英-中机器翻译来说,Source是英文句子,Target是对应的翻译出的中文句子,Attention机制发生在Target的元素和Source中的所有元素之间。Self-Attention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来,所以远距离依赖特征之间的距离被极大缩短,有利于有效地利用这些特征。原创 2024-01-13 14:08:31 · 464 阅读 · 0 评论 -
Transformer模型
前置知识:Attention机制。Transformer主要包括四部分,其中2, 3两部分是Transformer的重点,Transformer是一个基于Encoder-Decoder框架的模型输入自然语言序列到编码器: Why do we work?(为什么要工作);编码器输出的隐藏层,再输入到解码器;输入 < > (起始)符号到解码器;解码器得到第一个字"为";将得到的第一个字"为"落下来再输入到解码器;解码器得到第二个字"什";直到解码器输出 < > (终止符),即序列生成完成。原创 2024-01-10 11:15:36 · 1159 阅读 · 0 评论