深度学习笔记Week5

池化（pooling）层

它具有双重目的：降低卷积层对位置的敏感性，同时降低对空间降采样表示的敏感性。
池化窗口从输入张量的左上角开始，从左往右、从上往下的在输入张量内滑动。在池化窗口到达的每个位置，它计算该窗口中输入子张量的最大值或平均值。即最大池化层（maximum pooling）和平均池化层（average pooling）。

# 手动设定填充和步幅
pool2d = nn.MaxPool2D(3, padding=1, strides=2)

参数详解：

• kernel_size: 最大池化窗口的大小，类型为int 或者元组
• stride: 最大池化窗口每次滑动的步长为多少，默认是 kernel_size
• padding: 设置在所有边界增加 值为 0 的边距的大小（也就是在feature map 外围增加几圈 0 ）例如当 padding =1 的时候，如果原来大小为 3 × 3 ，那么之后的大小为 5 × 5 。即在外围加了一圈 0 。
• dilation: 控制最大池化窗口之间的间距

如果我们设置的dilation=0的话，效果如图：（蓝色为输入，绿色为输出，最大池化窗口为3 × 3）

如果设置的是dilation=1，那么效果如图：（蓝色为输入，绿色为输出，最大池化窗口卷积核仍为 3 × 3 。）
但是这里最大池化窗口点与输入之间距离为1的值相乘来得到输出。

LeNet

深度卷积神经网络（AlexNet）

从LeNet（左）到AlexNet（右）

在AlexNet的第一层，卷积窗口的形状是11 x 11。 由于ImageNet中大多数图像的宽和高比MNIST图像的多10倍以上，因此，需要一个更大的卷积窗口来捕获目标。 第二层中的卷积窗口形状被缩减为5 x 5，然后是3 x 3。 此外，在第一层、第二层和第五层卷积层之后，加入窗口形状为3 x 3、步幅为2的最大汇聚层。 而且，AlexNet的卷积通道数目是LeNet的10倍。

在最后一个卷积层后有两个全连接层，分别有4096个输出。

AlexNet将sigmoid激活函数改为更简单的ReLU激活函数。 一方面，ReLU激活函数的计算更简单，它不需要如sigmoid激活函数那般复杂的求幂运算。 另一方面，当使用不同的参数初始化方法时，ReLU激活函数使训练模型更加容易。 当sigmoid激活函数的输出非常接近于0或1时，这些区域的梯度几乎为0，因此反向传播无法继续更新一些模型参数。 相反，ReLU激活函数在正区间的梯度总是1。 因此，如果模型参数没有正确初始化，sigmoid函数可能在正区间内得到几乎为0的梯度，从而使模型无法得到有效的训练。
AlexNet通过暂退法（Dropout）控制全连接层的模型复杂度，而LeNet只使用了权重衰减。 为了进一步扩充数据，AlexNet在训练时增加了大量的图像增强数据，如翻转、裁切和变色。 这使得模型更健壮，更大的样本量有效地减少了过拟合。

自回归模型（Autoregressive Model）

简称AR模型，是统计上一种处理时间序列的方法，
是用同一变量之前各期的表现情况，来预测该变量自己本期的表现情况。
因为这不是用来预测其他变量，而是用来预测自己，所以叫做自回归。
必须具有自相关，自相关系数是关键。如果自相关系数®小于0.5，则不宜采用，否则预测结果极不准确。

马尔科夫模型(Markov Model)

具有马尔科夫性质、并以随机过程为基础模型的随机过程/随机模型被统称为马尔科夫模型,其中就包含我们悉知的马尔科夫链、马尔科夫决策过程、隐马尔科夫链（HMM）等随机过程/随机模型。
    生成模式（Generating Patterns）

1. 确定性模式（Deterministic Patterns）：确定性系统

交通信号灯，灯的颜色变化序列依次是红–绿-黄-红。每一个状态都是紧接于前一个状态，所以，绿后必红.也就是说，该系统是确定性的。确定性系统相对比较容易理解和分析，因为状态间的转移是完全已知的。

2. 非确定性模式（Non-deterministic patterns）：马尔科夫

这个应该也好理解,当考虑天气问题时，今天是晴天明天是雨天后天沙尘暴,马尔科夫假设假定今天的天气只能通过过去几天已知的天气情况进行预测——我们常常接受这样的知识假设，虽然它产生的某些信息不完全准确。假设模型的当前状态仅仅依赖于前面的几个状态，这被称为马尔科夫假设，它极大地简化了问题。显然，这可能是一种粗糙的假设，并且因此可能将一些非常重要的信息丢失。

马尔科夫过程是指过程中的状态的转移依赖于之前的状态，当影响转移状态的数目是n时,这个过程被称为 n阶马尔科夫模型。
马尔科夫链