- 博客(8)
- 收藏
- 关注
RSS订阅原创 fastai2017（二）
1、最大池化的作用：1、保持了平移不变性2、进行池化操作后，每一次卷积能覆盖更大的区域，即能提取更复杂的特征，增大了感受野。2、理论上来说，cnn可以用于任何具有顺序的信息3、在建立keras模型时，可以先从批量正则化开始，这样会先预处理输入数据4、pseudo label：貌似是一种半监督的方法，取一部分数据进行训练得到伪标签，将这些伪标签与真实的标签结合在一起，对数据进行训练5、元数据...
2018-09-29 20:18:19
199
原创 fastai2017（一）
超参数调试技巧1、权重初始化方差遵循的准则：var=2nin+nout\operatorname{var} = \frac{2}{{{n_{in}} + {n_{out}}}}var=nin+nout2其中输入输出指的是输入与输出的数目，这个准则是为了防止发生梯度消失与梯度爆炸，同时为了保证最终预测结果范围合适。...
2018-09-25 11:36:07
712
原创 深度学习（十五）
简单总结迁移学习： 1、拿到预训练模型，移除最后一层，使用随机的层进行训练 2、进行微调，解冻其他的层调整参数 3、有选择的情况下进行端到端的微调 过拟合处理： 可以增加数据量，进行简单的数据增强，做一些批量归一化等操作，做一些正则化、权重衰减和丢弃的操作，最后还可以减小模型的复杂度目标检测目的：用一个合适的边界框将目标圈定，并使用标签标明所属类别 步骤：1）对图片中最...
2018-09-18 10:25:17
192
原创 计算机视觉（五）
特征可视化1、对最后一层特征的处理：使用t-SNE降维技术，将最后的高维向量压缩到两维进行申请。 2、利用梯度上升来生成图像： 3、deepdream：试图放大提取到的特征，其操作是在神经网络的某一层进行反向传播，使梯度等于这一层的激活值，即将梯度方向传播回去 4、特征反演：输入图像后在某一层取一个特征值，通过梯度上升与正则化之后反演回去重构图像 5、纹理生成：将图片输入到神经网络...
2018-09-07 14:11:58
212
原创 计算机视觉（三）
训练与调优激活函数1、sigmoid函数不再适用的原因：1）在某些情况下梯度会消失，不利于反向传播，例如，当输如的值过大或过小时，根据函数的图像，返回的梯度都会是0，阻断了梯度的反向传播。2）不是以0为中心，梯度更新低效 2、tanh函数：第二个问题可以避免，但第一个避免不了 3、relu：又快又简单，最接近神经元的工作过程，但仍有缺点，例如不以0为中心，负半轴容易出现梯度的消失 ...
2018-09-03 19:02:56
366
原创 计算机视觉（二）
反向传播1、实质就是一个利用链式法则求梯度的过程，在实际中，参数的计算会及其复杂，此时如果利用公式来计算梯度非常麻烦，所以可以利用反向传播，所谓的反向传播，其实可以利用计算图来解释，当进行前向传播时，我们将每一步的结果进行存储，进行反向传播时，我们只需要利用链式法则计算每一步的梯度即可，这样可以利用原来存储的前向传播的值，一直将所有的梯度计算出来。 2、梯度与权值矩阵的大小相同，这是因为...
2018-09-03 14:44:06
303
原创 计算机视觉（一）
计算机视觉的一个难题：无论是拍照的角度、光线，形态变化、有无遮挡等等的因素，人都能很容易的识别出图片的目标，但对于计算机来说，这是一件很困难的事情。k近邻法1、距离度量选择： 前者会被坐标轴的变化所影响，后者则不会 2、超参数：实质上是一些我们不会从数据中学到的需要提前设置的参数 3、数据集较小的情况下使用交叉验证 4、knn实际上并不适用于对图像进行识别，这是由于其度量选...
2018-09-01 20:44:18
304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人