深度学习
nini_coded
走在电路与算法之间的通信人 把优势发挥到极致 stay hungry stay foolish
展开
-
dropout原理与实现
dropout作为一种预防CNN过拟合的正则化方法被Hinton等人在2012年的经典论文《ImageNet Classification with Deep Convolutional》中提出。dropout的原理很简单:在一次训练时的迭代中,对每一层中的神经元(总数为N)以概率P随机剔除,用余下的(1-P)×N个神经元所构成的网络来训练本次迭代中的数据(batchsize个样本)。关于dr...原创 2018-02-10 01:46:48 · 17731 阅读 · 1 评论 -
INSIGHT
The truth is like some substance. He exists in the high-dimensional space of the universe. People pursue the truth and they can only guess him with various interesting methods and approach him, but he...原创 2018-03-14 16:21:25 · 260 阅读 · 0 评论 -
ResNet个人理解
2015年最火的ResNet现在看已经是过去时了,后来的DenseNet、Mask-RCNN等架构的出现已经磨平了2015CVPR best paper的锋芒。ResNet的想法非常简单,学过闭环反馈的话都会自然地想到是不是可以将信息跳跃式地反穿?当然,结构上看ResNet是正向的一个skip connection (shortcut)。其实一直以来我都不理解为什么ResNet能够解决深层网络效果...原创 2018-03-16 15:55:32 · 10601 阅读 · 7 评论 -
batch、batch_size、epoch、iteration简介
batch_size、epoch、iteration是深度学习中常见的几个超参数:(1)batchsize:每批数据量的大小。DL通常用SGD的优化算法进行训练,也就是一次(1 个iteration)一起训练batchsize个样本,计算它们的平均损失函数值,来更新参数。(2)iteration:1个iteration即迭代一次,也就是用batchsize个样本训练一次。(3)epoc...原创 2018-02-04 02:42:30 · 24718 阅读 · 5 评论 -
数据的归一化与标准化
机器学习中常见数据的归一化(normalization)和标准化(standardization),其实这二者的作用和处理方法都很相似,本文作简单介绍。两者的基本作用是消除不同变量之间量纲的影响,方便数据处理。在机器学习中的作用是:1. 提高模型的收敛速度 假设某一模型包含两个特征x1,x2x1,x2x_1,x_2,x1x1x_1数值很大,而 x2x2x_2数值很小,两者的取值在平面上呈...原创 2018-02-15 02:35:34 · 3355 阅读 · 0 评论 -
简析过拟合与欠拟合
欠拟合与过拟合问题是机器学习中的经典问题,尽管相关的讨论和预防方法非常多,但目前在许多任务中仍经常会出现过拟合等问题,还没有找到一个十分通用、有效的解决方法。不过总体上看,现在人们常用的一些很简洁的方法基本上能够较好地解决欠拟合与过拟合问题,总结如下。欠拟合与过拟合的概念的成因比较简单,观点统一,这里不再介绍。现在常用的判断方法是从训练集中随机选一部分作为一个验证集,采用K折交叉验证的方式,用...原创 2018-02-10 13:59:29 · 5191 阅读 · 1 评论 -
正则化原理总结
正则化理论(Regularization Theory)是 Tikhonov于1963年提出的一种用以解决逆问题的不适定性的方法。不适定性通常由一组线性代数方程定义,这组方程组由于具有很大的系数而使得它的反问题(已知系统输出求输入)存在多解。正则化理论就是用来对原始问题的最小化经验误差函数(损失函数)加上某种约束,这种约束可以看成是人为引入的某种先验知识(正则化参数等价于对参数引入先验分布),...原创 2018-02-11 02:25:28 · 10373 阅读 · 0 评论 -
浅析网络梯度弥散与梯度爆炸
浅析网络梯度弥散与梯度爆炸待续原创 2018-02-11 23:45:04 · 348 阅读 · 0 评论 -
参数随机初始化方法:xavier_init()
初始化方法由Bengio等人在2010年的论文《Understanding the difficulty of training deep feedforward neural networks》中提出。它为了保证前向传播和反向传播时每一层的方差一致,根据每层的输入个数和输出个数来决定参数随机初始化的分布范围,是一个通过该层的输入和输出参数个数得到的分布范围内的均匀分布。 公式如下: U[...原创 2018-02-10 02:09:50 · 10375 阅读 · 0 评论