深度学习
xiaomiguan
happy
展开
-
欢迎使用CSDN-markdown编辑器
最近学习限制玻尔兹曼机,感觉写写更能加深对其了解。RBM是一种深度学习网络,尽管没有之前那样火,但是对于学习深度网络有一定的帮助。 RBM是两层的网络(可见层和隐层),各层之间全连接而层内神经元没有连接如下图: 1 理论定义 RBM系统具备的能量: 其中,Vi为可见变量(收入样本),Hj为隐层变量,ai 、b、为可见层和隐层神经元上的偏差,Wij为可见层ith神经元与隐层jth个神经元的转载 2015-12-10 02:43:23 · 317 阅读 · 0 评论 -
随机梯度下降(SGD)
最近一直接触随机梯度下降算法,有了一点了解,本博客只为自己能够更好的理解SGD,如有雷同请原谅。 梯度下降的出现只为了评估所建模型的好与坏,为了更好地向最佳的模型前进,需要不断修改模型中的参数,而此时就出来了SGD,它指导我们寻求更好的参数。 给定样本(X,Y),如X=(X1,X2,X3),X1=(x11,x12), X2=(x21,x22),X3=(x31,x32);Y=(Y1,Y2,Y3)原创 2015-12-11 02:24:58 · 818 阅读 · 0 评论 -
Deep learning:四十一(Dropout简单理解)
前言 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为:通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按照这转载 2015-11-24 19:10:01 · 402 阅读 · 0 评论 -
受限玻尔兹曼机
受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network),该网络由一些可见单元(visible unit,对应可见变量,亦即数据样本)和一些隐藏单元(hidden unit,对应隐藏变量)构成,可见变量和隐藏变量都是二元转载 2015-12-09 19:03:44 · 739 阅读 · 0 评论 -
generative model and discriminative model
判别模型 和 生成模型 【摘要】 - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型:有限样本==》判别函数 = 预测模型==》预测【简介】 简单的说,假设o是观察值,q是模型。 如果对P(o|q)建模,就是Generative模型。其基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。 这种方法一般转载 2015-11-30 18:41:44 · 450 阅读 · 0 评论 -
Deep learning-contrast normalization
Deep learning-contrast normalization In order to reduce unit’s activation if neighbor’s unites are also active and create competition between feature maps, we apply the contrast normalization to deal原创 2015-11-26 01:53:49 · 777 阅读 · 0 评论 -
Maxout
Reading Paper-Network In Network(1)-MaxoutThe maxout is designed to solve the problem that the representations that achieve good abstraction are generally highly nonlinear functions of the input data.原创 2015-11-25 00:51:51 · 630 阅读 · 0 评论 -
基于深度学习的图像语义分析及其应用
本文 转自“火光摇曳”博客:语义分析的一些方法(三),主要论述了基于深度学习方法的图像语义分析,包括图片分类、图片搜索、图片标注(image2text、image2sentence),以及训练深度神经网络的一些tricks,并介绍语义分析方法在腾讯广点通上的实际应用。以下为全文内容:3 图片语义分析3.1 图片分类图片分类是一个最基本的图片语义分析方法。基于深度转载 2015-11-20 18:18:44 · 4037 阅读 · 1 评论