TASK4，5听课笔记

以下内容摘自此链接

卷积

AlexNet

特征：

1. 8层变换，其中有5层卷积和2层全连接隐藏层，以及1个全连接输出层。
2. 将sigmoid激活函数改成了更加简单的ReLU激活函数。
3. 用dropout来控制全连接层的模型复杂度。
4. 引入数据增强，如翻转、裁剪和颜色变化，从而进一步扩大数据集来缓解过拟合。
   

使用重复元素的网络（VGG）

VGG：通过重复使用简单的基础块来构建深度模型。
Block:数个相同的填充为1、窗口形状为33的卷积层,接上一个步幅为2、窗口形状为22的最大池化层。
卷积层保持输入的高和宽不变，而池化层则对其减半。

网络中的网络（NiN）

LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取空间特征，再以由全连接层构成的模块来输出分类结果。
NiN：串联多个由卷积层和“全连接”层构成的小网络来构建一个深层网络。
⽤了输出通道数等于标签类别数的NiN块，然后使用全局平均池化层对每个通道中所有元素求平均并直接用于分类。

1×1卷积核作用
1.放缩通道数：通过控制卷积核的数量达到通道数的放缩。
2.增加非线性。1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性。
3.计算参数少

GoogLeNet

1. 由Inception基础块组成。
2. Inception块相当于1个有4条线路的⼦⽹络。它通过不同窗口形状的卷积层和最大池化层来并⾏抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度。
3. 可以⾃定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。
   
   

NLP

机器翻译

Sequence to Sequence模型:

X shape: (batch_size, seq_length, input_dim)
valid_length指一个sequence的有效长度，其shape为(batch_size, seq_length)
当valid_length是一个1-D tensor的时候，表示同一个batch的每个sequence有效长度相同，因此要在同一batch内进行repeat。

注意力机制

1. 定义
   通用带权池化方法，输入包括两部分：询问和键值对。针对询问query，首先计算每个key的注意力分数，注意力分数归一化后即为各key的注意力权重，最终输出value的加权和。
2. 注意力层：

（1）点积注意力
假设query和keys有相同的维度。计算二者点积后通常还会除去 sqrt(d) 减少计算出来的score对维度𝑑的依赖性.

（2）多层感知机注意力

然后将key 和 value 在特征的维度上合并（concatenate），然后送至 a single hidden layer perceptron 这层中 hidden layer 为 ℎ and 输出的size为 1 .隐层激活函数为tanh，无偏置.

transformer