2017年12月_lanmengyiyu

原创神经网络尺寸和表达能力

神经网络尺寸神经网络主要由输入层，隐含层，输出层组成。神经网络的尺寸，通常用神经元个数以及学习参数个数来衡量。下图选自cs231n课程笔记，描述了两个神经网络结构：神经元个数指的是隐含层以及输出层的神经元个数之和。左图中，神经元的个数为4+2=64+2=6,右图中，神经元的个数为4+4+1=94+4+1=9 参数的个数：左图中权重有3∗4+4∗2=203*4+4*2=20，偏置有4+2=64+

2017-12-31 21:58:22 3930 3

原创激活函数

激活函数常用的激活函数主要有Sigmoid函数，Tanh函数，ReLU函数。当然近些年，还有Leaky ReLU函数以及Maxout函数。

2017-12-30 19:45:24 343

原创 CNN反向传播和普通神经网络的联系和比较

BP神经网络反向传播反向传播是BP神经网络的特点，在之前的博客中已经粗略介绍了BP神经元以及反向传播的特点，对反向传播用较为直观图示解释。本博客将重点介绍其反向传播的传播过程。首先明确概念，反向传播就是得到整个网络的输出对每个门单元的梯度的过程。举例说明，f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗x4f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗...

2017-12-26 22:45:25 887

原创最优化问题

最优化(Optimization)是寻找能使得损失函数值最小化的参数WW的过程。在cs231n中循序渐进的讲解了3种方法。1：随机搜索 2：随机局部搜索 3：跟随梯度

2017-12-17 22:17:23 610

原创 Softmax损失函数

上一篇博客讨论了SVM的损失函数，本篇博客主要来讨论softmax的损失函数以及两者之间的差别。

2017-12-17 20:32:22 3005

原创 SVM损失函数

SVM（支持向量机）和softmax的区别在于损失函数的不同，用公式可以描述为：Li=∑j≠yimax(0,sj−syi+Δ)Li=∑j≠yimax(0,sj−syi+Δ)L_i=\sum_{j\neq y_i}max(0,s_j - s_{y_i}+\Delta)其中syisyis_{y_i} 表示真实类别的得分，sjsjs_j 表示其他类别的得分。ΔΔ\Delta 表示为边界值，LiL...

2017-12-16 22:01:47 8779

原创线性分类器定义和局限性

线性分类器简单来说就是通过一个线性函数，计算输入数据属于每一个类别的分数，分数越高意味着是该类别的可能性越大。如果用数学公式来表示，可以写作：f(x)=wx+bf(x)=wx+b

2017-12-16 19:29:20 1571

原创交叉验证

交叉验证方法一般应用在训练集数量较小（因此验证集的数量更小）的情况下。例如5折法/10折法。

2017-12-16 16:22:42 1228

张洁的笔记