hexueqiang93的博客

本文将介绍CNN的经典网络。包括LeNet、AlexNet、VGG、GoogleNet、ResNet。文中涉及的一些概念，请查看前面写的文章《CNN相关概念的理解》。LeNet：网络结构如下：LeNet用于手写数字识别，输出包含10个类别，网络结构参数如下。Input Layer：13232图像Conv1 Layer：包含6个滤波器，kernal size：55，parameters:（55+1）6=156个Subsampling Layer：average pooling，size：22,

信息量:越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。信息量的公式如下：熵:用来表示所有信息量的期望，熵的公式如下：然而有一类比较特殊的问题，比如投掷硬币只有两种可能，字朝上或花朝上。买彩票只有两种可能，中奖或不中奖。我们称之为0-1分布问题（二项分布的特例），对于这类问题，熵的计算方法可以简化为如下算式：相对熵：相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（

RNN结构与传统的前馈神经网络不同，其存在记忆效应。这种记忆使得神经网络可以对上下文进行分析。显示的表示其对时间的依赖性：y=f(x;t)。RNN模型的数学表示如下为：对于多层RNN模型，将y继续作为输入：当个RNN的示意流图如下：import tensorflow as tf # 超参数 batch_size = 32 seq_len = 100 # 文本长度，T=100 embedding_size = 128 # 降维后向量长度 hidden_size = 128 # 隐藏

文本向量化深度神经网络仅能处理浮点型的向量，所以需要将每个字符均转换为向量。对于句子的向量化，最终结果是将句子转换为onehot编码。以一个句子【今天天气不好。】为例，实现向量化。步骤如下：将字转换为ID：建立字典，为每个字符赋予一个整形数字。句子转换为（197 2000 2000 12 45 300 1）对整形数字进行OneHot编码：编码后的形式为[T,字符数量]。如果存在多个句子（BatchSize,B），输入表示为[B,T,字符数量]，T表示句子中的字数，这里T=7对字符数量降维：由

CNN的基本组件包括：感知器、激活函数、卷积层、池化层、正则化、全连接层、Softmax回归。下面分别对这些组件进行介绍。1、感知器感知器是神经网络的组成单元。一个感知器可以接受多个输入（x1,x2…,xn），每个输入上有一个权值wi，此外还有一个偏置项b（一般用w0表示）。感知器的激活函数可以有很多选择，比如我们可以选择如下阶跃函数f来作为激活函数：感知器的输出则为下面的公式表示：2、激活函数激活函数的作用是为了给神经网络加入一些非线性性因素，使得神经网络可以更好地解决较为复杂的问题。常用

1、tensorflow官方训练仿真器链接：http://playground.tensorflow.org/2、加深滤波器的理解链接：http://setosa.io/ev/image-kernels/**卷积的基本组件：**卷积层、池化层、全连接层。卷积层：提取特征，输入与滤波器相乘后相加。池化层：删除冗余，输入取滤波器维度的内的最大值或平均值。下图池化层。全连接层：分类器。卷积中的降维当池化层滤波器步长为1，不能实现降维。不管是卷积层还是池化层，实现降维的方法只能是调整步长。（卷积中的降

原创 超平面是什么？——理解超平面（SVM开篇之超平面详解） ...