![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
面试
文章平均质量分 87
阿华Go
做一个有责任心有上进心的汉子,我要肩负起守护家人的重任!!!
展开
-
CNN中的小tips(2)---batch normalization
问题:Internal Covariate Shift: 1)描述: 普遍理解:Internal Covariate Shift(内部协方差偏移):随着网络的进行,网络中的参数也随着梯度不停更新。一方面,当底层网络中的参数发生微弱变化时,由于每一层中的线性变换和非线性激活映射,这些微弱的变化随着网络层数的加深而被逐级放大(类似蝴蝶效应);另一方面,参数的变化导致每一层的输入分布会发生改变,...原创 2018-04-15 18:33:36 · 2169 阅读 · 0 评论 -
CNN中的小tips(3)---《l1,l2正则化为什么可以减轻过拟合现象》
过拟合现象发生的原因: 过拟合现象:由于神经网络的学习能力过于强大,以至于学到了训练样本中一些不太一般的特点,从而导致模型的泛化能力变差! 本质原因:由于监督学习问题的不适定:可以这样理解,高数中我们通过n个方程求解n个变量,当用这n个方程求解n+1个变量时,就会求解不出来;在监督学习中,我们给定的数据(方程)远远少于模型空间中的变量(变量的个数)。 而且模型越复杂,越容易过拟合!因此过...原创 2018-04-16 22:30:40 · 4366 阅读 · 0 评论 -
机器学习中的两大学派
前面看了很仔细的一些知识,今天换个口味,我们来了解一下机器学习中的两大学派,即频率学派和贝叶斯学派,我们为什么突然走起了这个风格的style呢?是不是没吃药?哈哈哈,不是这样的,是以前对机器学习的理解理解都是挑的比较详细的知识点进行串联,体系结构形成的并不是很完善,因此回头过来看看最基础的一些看似没用的东西,可以起到事半功倍的效果呢,事实证明也的确如此(关于这个论证感兴趣的小伙伴可以从减小过拟合的...原创 2018-04-17 22:15:35 · 1945 阅读 · 0 评论 -
交叉熵损失函数的多样化理解
背景:为什么会选择交叉熵损失函数??? 起初大佬们想的是使用绝对值误差作为损失函数,但是由于绝对值在数学中不好计算,所以大佬们就对绝对误差进行取平方操作,为了便于计算,在前面还乘了1/2,然后多个样本的损失进行求和求均值,即MSE(最大平方估计/最大平方误差),在深度学习中,我们经常使用的激活函数是sigmoid激活函数,由于该函数直接将输出激活到(0,1)空间,导致在该函数边缘的区域进行参...原创 2018-04-12 17:13:03 · 634 阅读 · 0 评论 -
CNN中的小tips
1)为什么使用两个3*3的卷积核而不是用5*5的卷积核呢?加深网络深度;减少所求解的参数个数。 例如我们共有20个3*3的卷积核,将其分为两层,然后有20个5*5的卷积核,将其保持一层,经过两层3*3或者一层5*5之后得到的大小一致,那么为什么我们在卷积核个数相同的情况下更喜欢采用两层3*3而不是一层5*5呢,答案就在与在加深网络深度的同时还可以减少计算的网络参数!两层3*3卷积核计...原创 2018-03-16 17:34:18 · 484 阅读 · 0 评论 -
机器学习中的验证集的作用和如何使用
验证集的作用:在机器学习或者深度学习中,我们需要了解我们的模型包括什么:1)模型设计:①模型架构(包括模型有多少层,每层有多少个神经元);②可训练权重参数(模型内置参数);2)模型训练的参数(模型外置参数,如学习率、优化策略等等)。这一块具体大家可以去看一下吴恩达老师机器学习的教程,会有很大收获的,如图(截自吴恩达 机器学习教程): 然后我们可以发现什么,bp算法可训练的参数只有什么东东...原创 2018-04-29 20:41:14 · 35279 阅读 · 4 评论 -
训练集(train set) 验证集(validation set) 测试集(test set)
训练集(train set) 验证集(validation set) 测试集(test set)看完之后豁然开朗,原文地址:http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html在有监督(supervise)的机器学习中,数据集常被分成2~3个,...转载 2018-04-29 22:27:16 · 2265 阅读 · 0 评论