深度学习
文章平均质量分 79
Dynomite
这个作者很懒,什么都没留下…
展开
-
深度学习(二) 正则、BN、梯度消失
深度学习(二) 正则、BN、梯度消失2.1 正则化L1、L2正则数据增强,例如加入随机噪声,输入时加入,在隐藏层加入(方差极小的噪声);图像平移,旋转,色彩变化Early stopping 验证集的训练误差在一定轮数没有降低,则停止训练参数共享 Weight Sharing CNNBagging,构建不同的数据集,训练不同的模型,取平均,降低方差dropout 随机化断开连接。...原创 2018-07-02 21:01:27 · 3560 阅读 · 0 评论 -
深度学习(三) 优化算法
深度学习(三) 优化算法3.1 梯度下降 基本思想: 利用当前位置的负梯度作为搜索方向,因为该方向为当前位置的最快下降方向 缺点: 靠近极小值时收敛速度减慢,可能成之字形下降 GD 梯度下降: 最小化所有训练样本的损失函数,使得最终求解的是全局的最优解,即求解的参数是使得风险函数最小 大规模样本问题效率低下,使用全部的数据集 速度慢,占内存(用全部可能...原创 2018-07-03 16:46:12 · 837 阅读 · 0 评论 -
深度学习(一) 损失函数、输出单元、激活函数、反向传播
深度学习(一) 损失函数、输出单元、激活函数、反向传播深度前馈网络概述线性模型无论是凸优化还是闭式解都可以高效可靠地拟合,而它的缺陷是拟合能力局限于线性函数里,无法理解特征之间的相互作用。深度学习通过学习特征来优化模型,提高模型的性能。与线性模型的凸优化从任意初始解都能收敛到最优点不同的是,深度学习的代价函数往往是非凸的,使用梯度来进行模型的优化。这种非凸迭代优化对模型的初值...原创 2018-06-28 20:34:28 · 2360 阅读 · 1 评论 -
深度学习(四) 卷积神经网络基础
深度学习(四) 卷积神经网络基础4.1 卷积层 卷积层的作用: 稀疏连接(局部感知):核大小远小于输入,存储的参数小,输入只和少部分输出的连接。以、一般认为图像的空间联系是局部的像素联系比较密切,而距离较远的像素相关性较弱,因此,每个神经元没必要对全局图像进行感知,只要对局部进行感知。 参数共享:在每一层内部,使用相同的卷积核。卷积核共享有个问题:提取特征不充分,可以通过增加多个...原创 2018-07-05 16:50:08 · 589 阅读 · 0 评论 -
深度学习(五) 循环神经网络基础
深度学习(五) 循环神经网络基础5.1 RNN RNN对于时序数据进行建模,上一刻的输出回作为下一时刻的输入。 更新方程: ht=tan(Wh(t−1)+Ux(t))0t=c+Vh(t)(5.1.1)ht=tan(Wh(t−1)+Ux(t))(5.1.1)0t=c+Vh(t)\begin{align}&h^t=tan(Wh^{(t-1)}+Ux^{(t)})\notag\\&0^t=...原创 2018-07-05 17:32:43 · 405 阅读 · 0 评论 -
生成对抗网络
生成对抗网络 GAN模型GAN由生成器与判别器组成,需要同时训练两者,生成器通过噪音变量生成伪造的图片数据,而判别器对于输入图片来源于数据集还是伪造的图片要进行区分,生称器要尽可能的欺骗判别器(使判别器分辨不出图片的来源),而判别器要尽可能的判别出图片的来源,这是一个两方博弈的问题为了学习生成器对于数据的分布pgpgp_g,定义输入噪声先验变量pz(z)pz(z)p_z(z),生成器记...原创 2018-09-03 15:32:44 · 980 阅读 · 0 评论