深度学习
xiaoming_tju
年少不被层楼误,余生不羁尽自由。
展开
-
介绍深度学习的组成
深度学习可以分成5个部分:1、连接模式连接模式包括全连接、卷积、池化、残差,甚至inception。这些结构的相互连接组成了神经网络的框架。2、非线性模块正是因为神经网络具有非线性模块,多层神经网络在理论上是可以无限逼近任意的函数。如果没有非线性模块,即使再多的层结构堆叠,最后的作用也仅仅是相当于一个感知机。常见的非线性模块有 tanh,sigmoid,ReLU,根据ReLU衍生出来的p...原创 2019-03-20 19:11:28 · 2859 阅读 · 0 评论 -
batch、batch_size、epoch、iteration等超参数
(1)epoch:1个epoch指用训练集中的全部样本训练一次,此时相当于batch_size 等于训练集的样本数。如果epoch=50,总样本数=10000,batch_size=20,则需要迭代500次。(2)iteration:1次iteration即迭代1次,也就是用batch_size个样本训练一次。(3)batch_size:每批数据量的大小.用SGD的优化算法进行训练,也...原创 2019-03-22 14:28:40 · 1931 阅读 · 0 评论 -
全连接的理解
首先是包含全连接的一幅图片:全连接把卷积输出的二维特征图(feature map)转化成一个一维向量,也就是说:最后的两列小圆球就是两个全连接层,在最后一层卷积结束后,又进行了一次池化操作,输出了20个1212的图像(20指最后一层的厚度),然后通过了一个全连接层变成了1100的向量(第一个全连接层神经元的个数是100)怎么做到的?该操作其实就是用100个201212的卷积核卷积出来的,对...原创 2019-04-28 11:18:22 · 13898 阅读 · 0 评论 -
softmax layer的原理解释
加入我们处理的是一个三分类问题,输出向量为[3,1,-3],3代表类别1的分量;1代表类别2对应的分量;-3代表类别3对应的分量;经过图中的softmax函数的作用后,将其转化为[0.88,0.12,0],它的意义是:这个输入样本被分到类别1的概率是0.88,被分成类别2的概率是0.12,然而被分成类别3的概率几乎为零。softmax函数的公式:请注意务必区分softmax与sigmoid(...原创 2019-05-06 10:58:25 · 3225 阅读 · 1 评论 -
Batch_Normalization原理理解
1、BN的作用原理BN往往作用于卷积层之后,激活函数Relu之前,即满足:conv+BN+Relu。BN就是调整每层卷积网络输出数据的分布,使其进入激活函数的作用区。激活函数的作用区就是指原点附近的区域,梯度弥散率低,区分率高。同时,BN会在训练过程中,自己调节数据分布,使其“更合理”地进入激活函数。卷积后,数据输出的分布会出现下图的几种情况。当x<0时,经过激活函数,数据全部没用,当...原创 2019-05-14 20:27:00 · 1439 阅读 · 0 评论 -
训练集、测试集与验证集的含义
训练集、测试集与验证集的含义1. 定义(1)在数据量(及标签)很充足的情况下:如果我们自己已经有了一个大的标注数据集,想要完成一个有监督模型的测试,那么通常使用均匀随机抽样的方式,将数据集划分为训练集、验证集、测试集,这三个集合不能有交集,三个集合符合同分布。常见的比例是可以上网看看。(2)在数据量(及标签)很少的情况下:比如在做比赛时,官方只提供了一个标注的数据集(作为训练集)以及一个...原创 2019-07-12 13:43:14 · 3244 阅读 · 0 评论