第一周：python与 深度学习基础 学习笔记

1.反向传播

误差反向传播，是一种与最优化方法结合使用的，用来训练人工神经网络的常见方法。利用误差反向传播计算每个权重损失函数的梯度，然后通过最优化方法更新权重值，使得损失函数最小化。

具体过程为：正向传播求损失，反向传播回传误差。每一个神经元都可根据误差修正每层的权重。

前向传播：先将数据输入到输入层，输入层-->隐藏层-->输出层，通过激活函数计算损失。

反向传播：通过梯度下降算法从输出层-->隐藏层-->输入层，链式求导，使损失函数最小化。

2.RNN

RNN，即循环神经网络。首先，需要明确的一点是，RNN与CNN最大的区别就是RNN的处理结果要与前一个输入和后一个输入有关，例如文字识别，语言翻译等。因为RNN具有一定的记忆功能，而CNN是静态的，所以此时就需要用到RNN。

                        一对多的RNN建模

3.CNN

CNN，即卷积神经网络。要求数据样本得是LLD，即独立同分布数据。CNN是静态输出的形式，不具备记忆功能。

CNN神经网络有着许多概念，卷积，池化，激活函数等等。

4.Transformer 

Transformer是一种基于注意力机制的神经网络模型，相比于传统的循环神经网络模型，Transformer模型具有更好的并行化能力和更短的训练时间，在处理长序列任务方面表现出色，因此在自然语言处理领域得到了广泛应用。

把Transformer看做一个黑盒，例如经过他将中文翻译成英文，其内部构造如下：

 

而encoder中，是注意力机制+前反馈网络

注意力机制中的记忆力得分，又是通过矩阵运算得到的。