- 博客(7)
- 收藏
- 关注
RSS订阅转载 深度学习中Dropout原理解析
1. Dropout简介1.1 Dropout出现的原因在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过...
2019-05-28 21:16:10
759
转载 Batch Normalization三（吴恩达课程笔记，有反向求导过程）
在训练神经网络时，标准化输入可以提高训练的速度。方法是对训练数据集进行归一化的操作，即将原始数据减去其均值后，再除以其方差。但是标准化输入只是对输入进行了处理，那么对于神经网络，又该如何对各隐藏层的输入进行标准化处理呢？其实在神经网络中，第层隐藏层的输入就是第层隐藏层的输出。对进行标准化处理，从原理上来说可以提高和的训练速度和准确度。这种对各隐藏层的标准化处...
2019-05-28 21:15:27
1081
转载 深入理解Batch-Normalization二（有分析BN在测试推理过程参数来源）
Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by...
2019-05-28 21:13:35
3199
转载 Batch-Normalization详细解析一（针对Relu分析的，简介明了）
BN目前已经成为了调参师面试必问题之一了。同时，BN层也慢慢变成了神经网络不可分割的一部分了，相比其他优化操作比如dropout, l1, l2, momentum，影子变量等等，BN是最无可替代的。论文标题: 《Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shi...
2019-05-28 21:13:06
3361
1
转载 ROIPooling和ROIAlign的特点和区别
一）、RoIPooling 这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map 先贴出一张图，接着通过这图解释RoiPooling的工作原理 针对上图 1)Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络...
2019-02-05 20:21:51
1915
原创 Ubuntu18.04+RTX2080+cuda10+tensorflow
原 Ubuntu18.04+RTX2080+cuda10+tensorflow 2018年10月18日 21:36:13 Mosay_dhu 阅读数：8664 ...
2019-02-05 17:05:43
1409
原创 easygui安装后在idle上能用，但pycharm上会报错
0. 安装 EasyGui标准方法安装：进官网：http://easygui.sourceforge.net下载、解压easygui安装包 使用命令窗口切换到easygui-docs-0.96的目录下 【Windows下】执行 python setup.py install（设置了环境变量的，直接用python，如果没有设置python的环境变量，则把python的路径也写进去如D:\Pr...
2018-09-06 18:08:52
2277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人