gakki的二向箔

概念假如输入是一个局部归一化后的32×32小图像块，第一个卷积层有8个卷积核，卷积核大小为3×3，卷积时的滑动步长为1，得到8个大小为30×30的特征图。然后是利用这些特征去做分类。理论上讲，我们可以用所有提取得到的特征去训练分类器，例如 softmax 分类器，但这样做计算量就太大了。图像具有一种“静态性”的属性，在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个...

看关于图像质量评价的论文"Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment" 时，文章对于Siamese network 并没有足够的讲解，于是自己查资料多了解一下。   Siamese 网络由两个相同的神经网络结构组成，适用于处理两个输入比较类似的情况。它不是去将输入分类，而...

梯度下降 用来寻找极小值。通过向负梯度方向逼近。 用于在神经网络模型中进行权重更新，即在一个方向上更新和调整模型的参数，来最小化损失函数。 反向传播 先在前向传播中计算输入信号的乘积及其对应的权重，然后将非线性激活函数作用于这些乘积的总和。 然后，在网络的反向传播过程中回传相关误差，使用梯度下降更新权重值，通过计算误差函数E相对于权重参数W的梯度，在损失函数梯...

综合Stanford university cs231n 课堂、及google 机器学习简介课程，进行了小小的记录~正则化 regularization有助于防止出现过拟合分为：L1 正则化L2 正则化丢弃正则化早停法（这不是正式的正则化方法，但可以有效限制过拟合）dropout 丢弃在每一次前向传递时，每一层都是计算上一个激活函数的结果乘以权重矩阵，得到下一个激活函数前的结果。然后将这一层算出来...

根据学习Stanford university的cs231n课堂视频，我做了一下总结~sigmoid原来挺流行，与大脑神经元的运作很类似饱和神经元将使得梯度消失。输入一个绝对值很大的数，其梯度接近于0，通过链式法则后会让梯度流消失，就无法得到反馈是一个非零中心的函数。梯度更新的效率低使用了指数函数，计算代价不低tanh(x) 双曲正切函数零均值绝对值很大的输入会使梯度消失ReLU线性整流函数不会产...

将数据集分为三个子集：训练集Training Set - 用于训练模型的子集。验证集Validation Set - 用于评估训练集的效果。测试集Test Set - 用于测试训练后模型的子集。使用训练集训练模型，使用验证集评估模型，使用测试集确认模型的效果Train model on Training Set, Evaluate model on Validation Set, Confirm ...

  有着较深的网络，使用小卷积核。 输入图像的大小为224*224。 5组卷积，卷积核大小3*3。 每组卷积后进行最大池化。 之后是3个全连接层。 最后是1个softmax分类器。   VGGnet能够学习比较复杂的功能，而且有着较低的成本。...

解决方案： 预训练加微调 梯度剪切、正则 relu, leakrelu等激活函数 batchnorm 残差结构 LSTM