【无标题】

1、等间隔调整学习率 StepLR，等间隔调整学习率，调整倍数为 gamma 倍，调整间隔为 step_size。间隔单位是step。
2、按需调整学习率 MultiStepLR，按设定的间隔调整学习率。这个方法适合后期调试使用，观察 loss 曲线，通过参数milestones给定衰减的epoch列表，可以在指定的epoch时期进行衰减。
3、指数衰减调整学习率 ExponentialLR，按指数衰减调整学习率，调整公式:lr=lr*gamma^{{e}}，e代
三种主流学习率表epoch。
作用：1、计算图，可以直观地把握计算过程。
2、计算图的节点是由局部计算构成的。局部计算构成全局计算。
3、在神经网络算法中，计算图的正向传播进行一般的计算。通过计算图的反向传播，可以计算各个节点的导数。
反向传播算法
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：（1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
描述一下用于可视化的梯度上升算法。

假设人工合成的可视化卷积核图为 x，我们希望这张合成图 x 能够使其对应的神经元（卷积核）具有最高的激活值。所得到的这张合成图像就是该卷基层的卷积核“想要看到的”或者“正在寻找的纹理特征”。

也就是说我们希望找到一张图像经过CNN网络，传播到指定的卷积核的时候，这张图片可以使得该卷积核的得分最高。

为了合成这一张图片，我们开始从一张带有随机噪声的图像开始，每个像素值随机选取一种颜色。

接下来，我们使用这张噪声图作为CNN网络的输入向前传播，然后取得其在网络中第 i 层 j 个卷积核的激活 a_ij(x)，然后做一个反向传播计算 delta a_i(x)/delta x 的梯度，最后我们把该噪声图的卷积核梯度 来更新噪声图。目标是希望通过改变每个像素的颜色值以增加对该卷积核的激活，这里就使用了梯度上升法：

其中 itselong 为梯度上升的学习率。不断重复上诉过程，直到图像 x 能够让第 i 层第 j 个卷积核具有较高的激活值。
对于具体的实现我们需要定义一个损失函数，该损失函数将用于最大化某个指定卷积核的激活值。以该损失函数作为优化目标，我们可以了解到底什么样的图片才可以使得这个卷积核取得更好的激活值。

现在我们使用Keras的后端来完成这个损失函数， gradients(loss, variables)为返回loss函数关于variables的梯度。

注意这里有个小小的trick——对计算出来的梯度进行了L2正则化操作，使得梯度不会过小或过大，其带来的好处是使梯度上升的过程平滑进行。

后端函数function用传递来的参数实例化一个Keras的Function类返回。这相当于Function的对象当作函数来使用，相当于重载了括号运算符,如outputs = self.train_function(inputs)。

根据刚刚定义的损失函数iterate_fun，现在可以根据梯度上升对卷积核的激活值进行梯度上升计算。

这样的方法是我们让输入的图像尽量与卷积核希望看到的东西一样，通过该层卷积核的损失和梯度进行上升补充，对输入的原图进行填充细节，最后得到可视化卷积核图。
1：构建夜视图像数据集，夜视图像数据集中包括样本图像及对样本图像进行人工标注后的标签文本，标签文本中的每一条标注和每一张样本图像一一对应；
步骤2：对原始样本图像进行镜面对称处理，并调整对应的标签文本，从而增强夜视图像数据集，然后将标签文本及其对应的经过镜面对称处理的样本图像写入到字典中，得到增强夜视图像数据集；
步骤3：构建深度卷积-循环神经网络，利用增强夜视图像数据集训练该深度卷积-循环神经网络，其中：深度卷积-循环神经网络包括深度卷积神经网络及深度循环神经网络，通过深度卷积神经网络将输入的增强夜视图像数据集中的图像提取特征后嵌入为一个固定维度的向量，用深度卷积神经网络最后一个隐层的信息作为深度循环神经网络的输入，通过循环神经网络最大化正确单词的概率，然后形成相应的描述语句；步骤4：实时获取待处理的图像，将图像输入深度卷积神经网络后，得到对应的特征图；采用长短时记忆网络读取得到的特征图，通过log函数最大化正确单
词的概率，输出图像的描述语句。
1）将训练集数据输入到ANN的输入层，经过隐藏层，最后达到输出层并输出结果，这是ANN的前向传播过程；
（2）由于ANN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；
（3）在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
1：构建夜视图像数据集，夜视图像数据集中包括样本图像及对样本图像进行人工标注后的标签文本，标签文本中的每一条标注和每一张样本图像一一对应；
步骤2：对原始样本图像进行镜面对称处理，并调整对应的标签文本，从而增强夜视图像数据集，然后将标签文本及其对应的经过镜面对称处理的样本图像写入到字典中，得到增强夜视图像数据集；
步骤3：构建深度卷积-循环神经网络，利用增强夜视图像数据集训练该深度卷积-循环神经网络，其中：深度卷积-循环神经网络包括深度卷积神经网络及深度循环神经网络，通过深度卷积神经网络将输入的增强夜视图像数据集中的图像提取特征后嵌入为一个固定维度的向量，用深度卷积神经网络最后一个隐层的信息作为深度循环神经网络的输入，通过循环神经网络最大化正确单词的概率，然后形成相应的描述语句；步骤4：实时获取待处理的图像，将图像输入深度卷积神经网络后，得到对应的特征图；采用长短时记忆网络读取得到的特征图，通过log函数最大化正确单词的概率，输出图像的描述语句。