CS231n
「已注销」
这个作者很懒,什么都没留下…
展开
-
CS231n李飞飞计算机视觉 神经网络训练细节part2上
神经网络训练细节part2上参数更新机制SGD Momentum update Nesterov Momentum update AdaGrad update RMSProp update Adam updateSGD随机梯度下降:x += - learning_rate * dx特点:如果在水平方向上梯度较小,而在垂直方向上梯度较大,会造成在水平方向更新较慢,而...原创 2019-02-02 23:27:44 · 234 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 神经网络训练细节part2下
神经网络训练细节part2下集成模型 dropout集成模型训练:单独训练多个模型测试:采用多个模型的测试结果均值做为结果可以提升2%。单模型:在训练过程中设置检查点,然后验证验证集中的数据。集成模型:在不同的模型中分贝设置检查点,然后用每个模型对验证集中的数据结果得到的均值作为验证结果。dropout随机失活:在前向传播和反向传播过程中,随机地使网络中的神经元...原创 2019-02-03 15:10:58 · 145 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 神经网络训练细节part1上
神经网络训练细节part1上 训练过程 激活函数 数据预处理训练过程取一个batch数据 将数据延着网络前向传播,计算每个单元的输出和损失 将梯度依据链式法则延网络反向传播 根据梯度更新参数激活函数Sigmoid tanh ReLU Leaky ReLU PReLU Maxout ELUSigmoid(挤压函数)函数图像:特点:...原创 2019-01-28 22:15:17 · 189 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 卷积神经网络详解上
卷积神经网络详解上卷积层:分别表示数据的宽、高、深度卷积:输入数据大小:,滤波器大小:。滤波器与输入数据在左上角对齐,从该位置依次从左向右,从上到下滑动滤波器,滑动步伐为stride,滤波器与其覆盖的数据的对应位置相乘然后加和,在加上偏置,得到该位置的激活反应,对整个图像的卷积得到一个激活映射。如果D1=D2,滤波器直接按上述卷积,一般D1=D2。如果,假设D1=3,D2=1,让滤波器分别...原创 2019-02-04 09:41:01 · 640 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 卷积神经网络详解下
卷积神经网络详解下LeNet-5 AlexNet ZFNet VGGNet GoogLeNet ResNetLeNet-5LeNet-5的结构是卷积-池化-卷积-池化-全连接层。AlexNetAlexNet:最后的1000个神经元对应1000种分类。AlexNet第一次使用了ReLU,使用了现在不常用的规范化,对数据进行了数据增强,在全连接层使用了dropo...原创 2019-02-09 09:37:52 · 482 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 神经网络训练细节part1下
神经网络训练细节part1下 权值初始化 批数据规范化Batch Normalization 超参数优化 权值初始化(1)高斯随机数乘0.01w = 0.01*np.random.randn(fan_in,fan_out)特点:在层数较少的网络中效果较好,但在随着网络层数增多会出现梯度消失。在上图的网络中,反向传播,求W1的导数,由于网络...原创 2019-01-29 20:40:33 · 164 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 迁移学习之物体定位与检测上
迁移学习之物体定位与检测上分类和定位分类:给定一个图像,输入图像包含的对象的类别。定位:给定一个图像,找到图像中对象所在的区域,即找出边界框。数据集:一千个类别,每个类别有800张图像。网络结构如上图,定位和分类可以同时训练也可以分别训练。方法一:当做回归问题求解分类是一个回归问题,可以将定位也当成回归问题,定位及找到对象所在边界框,边界框为方形,所以确定边界框的左...原创 2019-02-09 11:48:28 · 480 阅读 · 0 评论 -
CS231n李飞飞计算机视觉 迁移学习之物体定位与检测下
迁移学习之物体定位与检测下目标检测当输入一张图片,图片包含几个类别的几个对象,需要找到每个对象的边界框。如下图:能否将目标检测当成回归问题?对于不同的图片输出的多个对象的边界框,可能输出4个边界框也可能输出8个边界框,输出的数量不固定,所以无法当成是回归问题。将其当做分类问题:把图片的一部分输入到CNN中,对其进行分类和定位。比如输入的大小是怎么确定的?将其从小到大全部...原创 2019-02-09 14:03:19 · 677 阅读 · 1 评论 -
CS231n李飞飞计算机视觉 循环神经网络
循环神经网络循环神经网络:Recurrent Nerual Network,简称RNN。RNN可以有很多种结构,包括一对一的Vanilla网络,一对多的图像字幕,多对一的情感分类(处理一定数量的按顺序排列的词,然后试着把句子里的词,按正面和负面情感分类),多对多的机器翻译(将一个序列翻译成另一个序列)、视频分类。RNN例子RN有其自己内部的状态,但是在每个时间点接收内容,...原创 2019-02-27 17:00:50 · 487 阅读 · 0 评论