cs231n
授渔
这个作者很懒,什么都没留下…
展开
-
超详细斯坦福CS231n课程笔记(第六课)——训练神经网络(上)
训练神经网络(上)这一章中将讨论训练神经网络的一些细节问题,包括:刚开始要如何建立起神经网络;要选择什么样的激活函数;如何做数据的预处理,权重初始化、正则化和梯度检查;讨论训练中的动态变化、训练监控过程、超参数优化;讨论模型评估和模型集成。1. 激活函数激活函数的用途?如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层节点的输入都是上层输出的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感原创 2020-07-10 13:38:27 · 590 阅读 · 0 评论 -
超详细斯坦福CS231n课程笔记(第五课)——卷积神经网络
卷积神经网络1. 历史1.1 神经网络发展历史 1957, Frank Rosenblatt:神经元,其实就是简单的线性分类器,用于字母识别。 1960,Widow & Hoff,发明了Adaline/Madaline,首次尝试把线性层叠加,整合为多层感知器网络,不过此时反向传播和其他训练算法并未出现。 1986,Rumelhart,反向传播算法。 2006,Hinton & Salakhutdinov,深层神经网络可被高效训练:通过受限玻尔兹原创 2020-07-04 21:19:25 · 570 阅读 · 0 评论 -
超详细斯坦福CS231n课程笔记(第四课)——反向传播和神经网络
Backpropagation and Neural Network1. 反向传播1.1 计算图我们可以把f=W*x用一张类似流程图的东西表达出来,如下图所示,我们把这张图叫做计算图。其实就是把公式分解成小的计算单元。在这张图中,输入的训练数据x和权重W通过矩阵乘法连接到一起,运算后得到得分向量s,s经过hinge loss计算得到损失项Li,最后L是数据项和正则项R的和。那么反向传播是如何工作的?举个例子。1.1.1 栗子1这个式子f(x,y,z)=(x+y)z。我们取几个原创 2020-06-30 23:52:04 · 638 阅读 · 1 评论 -
超详细斯坦福CS231n课程笔记(第三课)——损失函数和优化损失函数
损失函数和优化损失函数1. 损失函数SVM在线性分类中,分类函数为f(x)= Wx + b,这时,可以用一个函数把W当作输入,然后看一下得分,定量地估计W的好坏,这个函数被称为损失函数。在这个例子中,猫目前的分类不对,车子分类对了,从这个W来说青蛙的图片是彻底地分类错了,因为青蛙的分数甚至比其他类别的都要低。通常来说我们有N个样本,其中x是算法的输入,在图像分类问题中,x其实是图片每个像素点所构成的数据集,y是你希望算法预测出来的东西,我们通常称之为标签或者目标。我们把损失函数计做.原创 2020-06-27 15:12:39 · 601 阅读 · 0 评论