BP
文章平均质量分 67
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n作业笔记1.6:神经网络的误差与梯度计算
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记这里实现的是一个两层神经网络(含有一个隐层),激活函数使用的是ReLU,误差函数使用的是softmax,使用了L2正则项。1. scores计算需要注意的有 1. 最后一层不使用激活函数 2. 注意加bias的时候,使用了broadcasting,所以在反向传原创 2016-12-21 16:08:40 · 3448 阅读 · 0 评论 -
CS231n作业笔记1.3:SVM的误差函数以及反向传播(非向量及向量算法)
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。作业笔记SVM的Loss Function请参考 CS231n课程笔记3.1:线性分类器(SVM,softmax)的误差函数、正则化。1. 非向量的误差计算这部分属于作业自带部分,使用loop计算,如果margin大于0,就叠加,最后加入正则项。2. 非向量的梯原创 2016-12-19 01:07:14 · 3109 阅读 · 0 评论 -
CS231n课程笔记4.1:反向传播BP
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。课程作业关于BP实现的实例请参考 CS231n作业笔记1.3:SVM的误差函数以及反向传播(非向量及向量算法)。1. 计算图 VS 微积分如果可以直接使用微积分得到gradient,使用BP则会显得效率低下。但是通常情况下我们需要计算多层的神经网络,其中设计很多原创 2016-12-19 21:03:19 · 1954 阅读 · 0 评论 -
Hinton Neural Networks课程笔记3b:线性神经元的误差曲面
这节其实是在为反向传播(BP)算法铺路,解释了delta rule(chain rule),然后举了个简单的例子,并做了一些评价。回顾感知机的部分,其学习算法简单快速,在数据集线性可分的情况下保证收敛。回顾感知机的学习算法,因为是Binary Threshold的激活函数,构建权重空间之后,每一个数据点对应于权重空间的一个超平面,该超平面对能够正确分类该数据点的权重空间做了限制;满足所有数据点限制的原创 2017-08-25 20:20:48 · 2692 阅读 · 2 评论 -
Hinton Neural Networks课程笔记3c:学习逻辑斯蒂回归
这节可以看做反向传播(BP)算法在逻辑斯蒂回归(logistic regression)中的应用。为了进一步拓展BP算法的应用,从线性神经元拓展到了非线性神经元。这里选取了最简单的非线性神经元:逻辑斯蒂输出神经元(logistic output neuron)。损失函数同样选用简单的误差平方和。逻辑斯蒂神经元(logistic neuron) 如上图所示,该神经元只是在线性神经元的输出后面加上一个原创 2017-08-26 20:33:56 · 737 阅读 · 0 评论 -
Hinton Neural Networks课程笔记3d:反向传播算法(BP)
铺垫了几节课,终于讲到了反向传播。因为笔者已经在刷CS231n的时候学习过反向传播(BP)算法,想要直接查看BP操作的可以看之前的博客:CS231n课程笔记4.1:反向传播BP。这里记录一些BP历史、推导相关的知识点原创 2017-08-27 16:55:11 · 1427 阅读 · 0 评论