xiaomiguan-CSDN博客

原创 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

What is the starting point to write this paper? The distribution of each layer’s inputs changes during training, as the parameters of the previous layers change, resulting in slowing down the training

2015-12-23 19:10:39 613

原创 striving for simplicity:the all convolutional net

1 Why the author want to write this paper? the basic architecture of convolutional neural networks(CNNs) mainly consists of convolutional layer, ReLU layer, pooling layer and full connection layer. I

2015-12-23 01:07:38 1373

原创 Unsupervised Representation Learing with Deep Convolutional Generative Adversarial Networks

Recently, I am reading papers which is refer to Deep learning and Convolutional Networks(CNNs). The aim to write the blog is better understanding of above methods. Please forgive me there are full

2015-12-21 20:25:36 1053

原创 Unsupervised Rrpresentation Learning with Deep Convolutional Generative Adversarial Networks

Recently, I am reading some papers relating to unsupervised representation and convolutional network. The aim to write the blog is just to batter understand it. If there are misunderstandings or wrong

2015-12-21 19:33:01 844

原创神经网络

学习神经网络有一段时间，为了加深对知识点的理解，特地将其记录下来，如有雷同请见谅，此处仅为自己的学习。Feedforward propagation：前馈传播前馈传播指从输入到输出，完成对预激励函数和激励函数的赋值计算。如下图：因此神经元（neuron）预激励为：其中： W为神经元链接的权重， B为偏差， g(.)为激励函数（activation function）,

2015-12-12 20:01:52 683

原创随机梯度下降（SGD）

最近一直接触随机梯度下降算法，有了一点了解，本博客只为自己能够更好的理解SGD，如有雷同请原谅。梯度下降的出现只为了评估所建模型的好与坏，为了更好地向最佳的模型前进，需要不断修改模型中的参数，而此时就出来了SGD，它指导我们寻求更好的参数。给定样本（X,Y）,如X=（X1,X2,X3），X1=(x11,x12), X2=(x21,x22),X3=(x31,x32);Y=(Y1，Y2，Y3)

2015-12-11 02:24:58 771

转载欢迎使用CSDN-markdown编辑器

最近学习限制玻尔兹曼机，感觉写写更能加深对其了解。RBM是一种深度学习网络，尽管没有之前那样火，但是对于学习深度网络有一定的帮助。 RBM是两层的网络（可见层和隐层），各层之间全连接而层内神经元没有连接如下图： 1 理论定义 RBM系统具备的能量：其中，Vi为可见变量（收入样本），Hj为隐层变量，ai 、b、为可见层和隐层神经元上的偏差，Wij为可见层ith神经元与隐层jth个神经元的

2015-12-10 02:43:23 303

转载受限玻尔兹曼机

受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元

2015-12-09 19:03:44 717

转载 generative model and discriminative model

判别模型和生成模型【摘要】 - 生成模型：无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型：有限样本==》判别函数 = 预测模型==》预测【简介】简单的说，假设o是观察值，q是模型。如果对P(o|q)建模，就是Generative模型。其基本思想是首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般

2015-11-30 18:41:44 424

原创 Deep learning-contrast normalization

Deep learning-contrast normalization In order to reduce unit’s activation if neighbor’s unites are also active and create competition between feature maps, we apply the contrast normalization to deal

2015-11-26 01:53:49 752

原创 Maxout

Reading Paper-Network In Network(1)-MaxoutThe maxout is designed to solve the problem that the representations that achieve good abstraction are generally highly nonlinear functions of the input data.

2015-11-25 00:51:51 604

转载 Deep learning：四十一(Dropout简单理解)

前言　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按照这

2015-11-24 19:10:01 382

转载基于深度学习的图像语义分析及其应用

本文转自“火光摇曳”博客：语义分析的一些方法(三)，主要论述了基于深度学习方法的图像语义分析，包括图片分类、图片搜索、图片标注（image2text、image2sentence），以及训练深度神经网络的一些tricks，并介绍语义分析方法在腾讯广点通上的实际应用。以下为全文内容：3 图片语义分析3.1 图片分类图片分类是一个最基本的图片语义分析方法。基于深度

2015-11-20 18:18:44 3932 1

原创 Convolutional Networks

CNN

2015-11-19 20:07:24 461

xiaomiguan的博客