深度学习
文章平均质量分 89
潜心修行的研究者
潜心修行
展开
-
深度学习中的归一化技术小结
深度学习中的归一化技术主要有以下几种方法:Batch NormalizationLayer NormalizationInstance NormalizationGroup Normalization核心步骤都是:x^(k)=x(k)−E[x(k)]Var[x(k)]+ϵ\widehat{x}^{(k)}=\frac{x^{(k)}-\mathrm{E}\left[x^{(k...原创 2019-05-24 11:12:52 · 1618 阅读 · 0 评论 -
深度学习调参点滴
深度学习调参一,初始化多尝试几种初始化方法:Xavier_uniform二,正则化添加高斯随机噪声:例如在初始化的词嵌入中加入高斯随机噪声、在中间隐层添加噪声、在输出层添加噪声(例如label smoothing),一般加入均值为0,方差较小的高斯噪声。Dropout:输入dropout、循环层的dropout、中间层的dropout等等;权重衰减:L2正则化;BatchNo...原创 2019-05-24 11:09:32 · 293 阅读 · 0 评论 -
强化学习点滴
强化学习Agent learns to take actions maximizing expected reward or expected cumulative reward per episode.基于模型的方法无模型的方法首先得说一下这里的模型指的是什么。**model就是用来预测环境接下来会干什么,即在这一状态的情况下执行某一动作会达到什么样的状态,这一个动作会得到什么re...原创 2019-05-24 10:35:57 · 254 阅读 · 0 评论 -
深度学习中的结构化概率模型
深度学习中的结构化概率模型结构化概率模型也称为图模型。一,非结构化建模的挑战概率模型可以完成很多任务,例如:估计密度函数去噪缺失值的填补采样对上千甚至上百万的随机变量的分布建模,无论从计算上还是统计意义上来说,都是一个极具挑战性的任务。非结构化建模的主要挑战在于参数的数量是巨大的,这会导致:内存:存储参数的开销太大。统计的高效性:容易过拟合,因为数据量不够,所以需要一些...原创 2019-05-24 10:31:32 · 1422 阅读 · 0 评论 -
深度学习中的注意力机制(2017版)
转载自 张俊林博客原始地址 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ 转载 2018-12-01 11:35:02 · 2350 阅读 · 0 评论 -
深度学习的一些重点总结
深度学习总结一,变分推断变分推断通过使用已知简单分布来逼近需推断的复杂分布,并通过限制近似分布的类型,从而得到一种局部最优、但具有确定解的近似后验分布。在现实生活中,E步对p(z|x,Θt)p(z|x,Θt)p(z|x,\Theta^t)的推断很可能因为z⃗ z→\vec z模型的复杂而难以进行,此时可以借助变分推断。通常假设z⃗ z→\vec z服从分布: ...原创 2018-06-16 15:39:59 · 1019 阅读 · 0 评论 -
蒙特卡罗方法
蒙特卡罗方法一,采样和蒙特卡罗方法为什么需要采样当我们需要以较小的代价近似许多项的和或某个积分时,采样是一种很灵活的选择。蒙特卡罗采用的基础蒙特卡罗方法的思想是把这个和或者积分视作某分布下的期望,然后通过估计对应的平均值来近似这个期望。令: s=∑xp(x)f(x)=Ep[f(x)]s=∑xp(x)f(x)=Ep[f(x)]s=\sum_xp(x)f(x)=...原创 2018-06-16 15:30:21 · 3379 阅读 · 0 评论 -
Word2Vec
引言Word2Vec是google提出的一个学习word vecor(也叫word embedding)的框架。它主要提出了两个模型结构CBOW和Skip-gram,这两个模型都属于Log Linear模型,结构如下所示: CBOW对小型数据比较合适,而Skip-gram在大型语料中表现得更好。CBOW模型CBOW main idea:Predict center w...原创 2018-05-18 21:59:05 · 2833 阅读 · 0 评论 -
深度模型中的优化与参数初始化方法
基本的优化算法Batch GDSGDSGD with 动量SGD with Nesterov动量自适应学习率算法AdaGradRMSPropRMSProp with NesterovAdam: Adaptive Moments比较与选择它们之间的关系如下: 对于如何选择没有达成共识,但结果表明具有自适应学习率的算法族表现得相当鲁邦,不分...原创 2018-04-16 20:02:00 · 1251 阅读 · 0 评论 -
深度学习中的正则化
任何可以使学习算法有降低泛化误差意向的改动都是正则化。一个有效的正则化就是能显著地降低偏差而不过度增加偏差。最好的拟合模型总是一个适当正则化的大型模型!1,参数范数惩罚与约束范数惩罚L2参数惩罚(岭回归):特征权重衰减,可以解释为权重为高斯先验的MAP贝叶斯推断。L1参数惩罚(Lasso回归用到L1):特征稀疏,有特征选择的效果,可以解释为权重为Laplace先验的MAP贝叶斯...原创 2018-04-16 19:09:57 · 472 阅读 · 0 评论 -
TensorFlow实战(六)- 使用TensorFlow实现卷积神经网络CNN
一,卷积神经网络简介卷积神经网络提供了一种方法来特化神经网络,使其能够处理清楚的网络结构拓扑的数据,以及将这样的模型扩展到非常大的规模。这种方法在二维图像拓扑上是最成功的。卷积神经网络的主要特征有:稀疏连接:源于视觉的局部感受野。权值共享等变表示:平移等变性。总结:稀疏连接和权值共享降低了参数量,使训练复杂度大大降低,并减轻了过拟合。同时权值共享还赋予了卷积网络对平移的容忍性,...原创 2018-04-15 20:08:46 · 1173 阅读 · 0 评论 -
TensorFlow实战(五)- 使用TensorFlow实现多层感知机
一,多层感知机简介多层感知机也叫 深度前馈网络 或 前馈神经网络。“多层”本质上指的是多层隐含层,神经网络的非线性也主要体现在隐含层非线性的激活函数上,理论上只要隐含节点足够多,只要有一层隐含层就可以拟合任意函数,但隐含层越多,就越容易拟合复杂函数,并且所需的隐含单元也越少。但是,层数较深的神经网络会出现很多问题:过拟合参数难以调试梯度消失等等解决方法有:1,Dr...原创 2018-04-03 02:06:43 · 875 阅读 · 0 评论 -
TensorFlow实战(四)- 使用TensorFlow实现去噪自编码器
一,自编码器简介1,什么是自编码器自编码器,顾名思义,即可以使用自身的高阶特征编码自己。自编码器其实是一种神经网络,它的输入和输出是一致的,它借助稀疏编码的思想,目标是使用稀疏的一些高阶特征重新组合来重构自己。特征如下:期望输入和输出一致。希望使用高阶特征来重构自己,而不只是复制像素点。如下图所示: 因为自编码器希望使用少量稀疏的高阶特征来重构输入,所有有几种限...原创 2018-03-19 00:38:03 · 2604 阅读 · 2 评论 -
深度学习概述与基础
一,深度学习的基础结构 - 神经网络神经网络工作流程二,DL与AI、ML的比较AI:任何能使计算机模仿人类行为的技术。ML:是计算机具有在没有显示编程的情况下学习的能力。DL:使用神经网络学习数据底层的特征。1,它们之间的包含关系2,它们之间的原理差异三,欠拟合和过拟合欠拟合的原因可能有:模型本身复杂度不够很难找到目标函数的全局最...原创 2018-03-12 20:07:11 · 516 阅读 · 0 评论 -
TensorFlow实战(三)- 使用SoftMax Regression识别手写体数字(包含基础)
一,TensorFlow实现机器学习算法的基础1,核心步骤1. 定义算法公式,也就是神经网络forward时的计算。 2. 定义loss,选定优化器,并指定优化器优化loss。 3. 迭代地对数据进行训练。 4. 在测试集或验证集上对准确率进行评测。 这几个步骤是TensorFlow进行算法设计、训练的核心步骤,只有当调用run方法,并feed数据时计算才真正执行计算图...原创 2018-03-17 14:05:42 · 370 阅读 · 0 评论 -
TensorFlow实战(二)- TensorBoard简介
TensorBoard是TensorFlow的一组web组件,用来监控TensorFlow的运行过程或可视化计算图。 TensorBoard目前支持5种可视化:标量图片音频直方图计算图TensorBoard的几种工具:Events DashBoard:可以用来监控运行时的关键指标,如loss、学习速率或者验证集上的准确率。 Image DashBoard:展示训练过...原创 2018-03-16 22:05:05 · 297 阅读 · 0 评论 -
TensorFlow实战(一)- TensorFlow基础
一,TensorFlow基础架构和主要技术特性 二,TensorFlow编程模型核心概念1,计算图计算图描述了数据的计算流程,也负责维护和更新状态,用户可以对计算图的分支进行条件控制和循环控制。节点(node):每个节点描述了一个运算操作(operation),可以有任意多输入和输出。边(edge):流动着数据,边中流动的数据成为张量(tensor)。...原创 2018-03-16 19:59:12 · 494 阅读 · 0 评论