传统BP神经网络
陈路飞
这个作者很懒,什么都没留下…
展开
-
cs231n笔记(3)—误差函数
一.损失函数有时也叫代价函数或者误差函数。个人理解就是将样本图片输入网络后会得到一个得分,再将得分输入损失函数会得到一个损失,损失越低便认为识别效果越好,反之效果越差。后面会根据损失反向求导训练权值W,直到损失趋于0,或不再下降为止。二.1.多类SVM损失(支持向量机):SVM损失计算了所有不正确的例子,将所有不正确的类别的评分,与正确类别的评分之差加1(可以不原创 2017-12-08 19:14:59 · 471 阅读 · 0 评论 -
cs231n笔记(2)——线性分类器
一.将图片预处理(如监督学习打标签等)后,将矩阵输入函数X为图片,W为权值,b为偏执项。二.解释例子中将图片拉成列向量X与带权矩阵W相乘,加上偏执项b,得出一系列的分数。分数将对应各种分类。分数高即为分类器人为样本图片为此类概论高,反之低。三.我们所说训练即为训练其中的W,在实际操作中,我们将用传统神经网络或者卷积神经网络代替线性分类器。原创 2017-12-08 18:38:35 · 188 阅读 · 0 评论 -
cs231n笔记(6)--反向求导
一.理解 反向求导在BP算法中也叫梯度下降,我对其的理解就是为了让最后的损失函数损失最小化(即识别误差最小),如何让最后误差最小呢?由于导数在几何上的意义是函数上升或者下降的趋势,那么我们可以把整个人工神经网络+损失函数的模型看成是一步一步的函数叠加的结果,输入为图像,输出为损失。那么每一个神经元(激活函数)以及之后损失函数都会对最后的误差结果产生影响。反向求偏导后(链式法则,每一步原创 2017-12-10 16:23:17 · 2496 阅读 · 0 评论 -
cs231n笔记(4)——正则化
结构风险=经验风险+正则项经验风险=为损失函数的数学变化通常可以表示成如下式子:其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的ΦΦ是正则化项(regularizer)或者叫惩罚项(penalty term),它可以是L1,也可以是L2,或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的θθ值。5.随机失活 一....原创 2017-12-10 16:01:30 · 488 阅读 · 0 评论 -
对深度学习训练模型过程的理解
一.数据预处理二.将数据输入神经网络(每个神经元先输入值加权累加再输入激活函数作为该神经元的输出值)正向传播,得到得分三.将“得分”输入误差函数(正则化惩罚,防止过度拟合),与期待值比较得到误差,多个则为和,通过误差判断识别程度(损失值越小越好)四.通过反向传播(反向求导,误差函数和神经网络中每个激活函数都要求,最终目的是使误差最小)来确定梯度向量五.最后通过梯度向量来调整每一个权原创 2017-12-10 22:19:59 · 7997 阅读 · 0 评论 -
cs231n笔记(1)——-KNN算法
图像分类:KNN算法(K—最近邻算法)一.定义定义:KNN是通过测量不同特征值之间的距离进行分类。它的的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。(原创 2017-12-08 17:47:42 · 561 阅读 · 1 评论 -
深度学习(3)——离散回归,最小二乘法
监督学习中,如果预测的变量是离散的,我们称其为分类(svm等,得出的是类,并不是连续的数,所以是离散的),如果预测的变量是连续的,我们称其为回归。在回归分析中,对于一元线性回归模型, 假设从总体中获取了n组观察值(X1,Y1),(X2,Y2), …,(Xn,Yn)。对于平面中的这n个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位原创 2017-12-24 19:13:42 · 4721 阅读 · 0 评论 -
cs231n笔记(5)--传统神经网络,激活函数
一.神经元 为了描述神经网络,我们先从神经元讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:具体过程是将Xn加权输入,再求和然后输入到“圆圈”中,圆圈实际上是激活函数,然后再输出,便完成了神经网络中一个神经元的计算过程。二.激活函数1.激活函数的作用是将神经网络里的线性变化转换成非线性变换。之前可以看出无论神经网络设计多么复杂,层原创 2017-12-10 17:32:17 · 273 阅读 · 0 评论