cs231n视觉识别
文章平均质量分 67
i_chase
这个作者很懒,什么都没留下…
展开
-
第四讲-介绍神经网络-课时10---神经网络
-------------------------------------------------------------------------------------------------------------------两层神经网络的权重究竟代表什么,看了两遍也没看懂。这门课:没基础看不懂,有基础没必要看。。。---------------------------------------...原创 2018-04-30 10:55:48 · 121 阅读 · 0 评论 -
第十一讲--课时25
分类+定位原创 2018-05-13 11:55:51 · 104 阅读 · 0 评论 -
第十一讲--课时26--object detection
图片中可能含有多个物体需要分类和定位,数量不确定方案一 sliding windows计算量太大,不被使用方案二 region proposalsregions是固定算法选择的,不经过学习。而且计算量还是大fast R-CNN选取region之后再投影到卷积层fast R-CNN已经很快了,但是,对于test time,region proposals的时间限制了模型速度。faster R-CNN...原创 2018-05-13 15:22:18 · 142 阅读 · 0 评论 -
第三讲-损失函数和优化-课时7--损失函数
SVM有点忘记了,记不得score怎么计算的。该复习一下统计学习方法和林轩田的课了。-----------------------------------------------------------------------------------------SVM也是线性分类而已,损失函数是hinge loss,之所以那么复杂的推导来推到去,只是因为:hinge loss不是处处可导,不能用梯...原创 2018-04-28 19:48:20 · 705 阅读 · 0 评论 -
第六讲-训练神经网络(上)--课时14-激活函数
激活函数-----------------------------------------------------------------------------------------------sigmoid:将值激活压缩到0-1之间缺点:(1)梯度很容易为0,这个激活结点杀死了反向传播回来的梯度,易造成梯度消失(2)激活之后的均值不是0,全部都是正值(0-1之间)f = sum(WiXi)+...原创 2018-05-07 15:58:34 · 238 阅读 · 0 评论 -
第十二讲--可视化和理解卷积神经网络--课时27
卷积网络第一层的卷积核为n_H*n_W*3,将其可视化出来,可以看到,都是些方向边缘。即这些卷积核在找边缘特征------------------中间层的权重可以通过调整为灰度图可视化,但是看不出来意义------------------网络最后得到的特征是有意义的,下图中显示,特征近邻的图片确实是一类。比在原始图像上寻找近邻的效果好。-------------------------------...原创 2018-05-14 13:26:29 · 436 阅读 · 0 评论 -
第三讲-损失函数和优化-课时8-优化
大多数情况下,尤其是深度学习中,想要求损失函数最小值处的参数,是无法通过闭式解得到的。需要使用梯度下降。首先,Random Search是行不通的。一元函数---导数多元函数---偏导数---偏导数组成的向量就是梯度(gradient)----------------------------------------------------------------------------------...原创 2018-04-29 12:50:00 · 123 阅读 · 0 评论 -
第六讲-训练神经网络上--课时15--批量归一化
batch norm“you want unit gaussian activations? Just make them so”卷积神经网络由于需要保留空间信息,对所有batch使用同样的均值和方差。普通全连接网络各个batch使用各自的mean和variancegamma和beta是为了添加噪声,具有正则化的作用,它们是学习得到的参数。gamma和bata使得更flexible,比如tanh中...原创 2018-05-07 17:46:49 · 622 阅读 · 0 评论 -
第四讲-介绍神经网络-课时9--反向传播
----------------------------------------------------------------------------------------------------这个phd讲的课,感觉在念ppt。。。这门课程不适合入门,吴恩达的课比较基础,易懂,零基础来上这门课的话估计听不懂的。-----------------------------------------...原创 2018-04-29 21:55:35 · 157 阅读 · 0 评论 -
第七讲--训练神经网络下--课时16--更好的优化
归一化的作用:当分割超平面改变时,预测分数变化较小。这样,神经网络容易训练。-------------------------------当各个超参数的作用不一样大(神经网络就是这样),random search 理论上更有优势。------------------------------sgd的问题:(1)由于各个参数量级不一致,迭代呈之字形,很慢(2)在接近局部...原创 2018-05-08 13:12:01 · 218 阅读 · 0 评论 -
第七讲--训练神经网络下--课时17--正则化
drop out每次迭代时,都随机将各层的A失活在全连接层较为常用,卷积神经网络中使用drop out是对某几个channel失活。---------------------------为了期望不变,消除随机性。方案一(推荐使用)inverted drop out训练过程失活后,除以失活概率测试不需要做改变测试过程由于部署在端设备上,需要计算量小-----------------------方案二...原创 2018-05-08 16:06:04 · 159 阅读 · 0 评论 -
课时18--迁移学习
原创 2018-05-08 17:03:13 · 96 阅读 · 0 评论 -
第十五讲--深度学习的方法及硬件
为了更好地准确率,模型越来越大不同硬件消耗的能量不同* 谷歌的TPU是一种ASIC,专门用于深度学习---------------------------------------------------------------------------------------------------------计算机中的数字是离散的,不可能穷尽。fixed point只有8位,谷歌TPU就是使用了这...原创 2018-05-21 20:57:27 · 902 阅读 · 0 评论 -
第十四讲--深度增强学习--课时33
比较难懂,参考了莫烦python强化学习。强化学习的各种分类方法如下:-----------------------------------------------------(1)理解环境,即会对环境建模,而不是直接在真实世界尝试。同时,理解环境的模型每一次通过想象预判选择了最好的做法(AlphaGo就是这种)Q-learning,policy gradients都是不理解环境的--------...原创 2018-05-26 10:47:13 · 215 阅读 · 0 评论 -
第十六讲--对抗样本和对抗训练
对于人眼来说,图片没有发生变化,还是熊猫但是!对于训练好的模型来说,这个样本会被分类为猴子不只是神经网络,线性模型也会被攻击,下图圈出来的“9”已结不再被模型认为是“9”了这种表明看起来没有区别的对抗样本,不是由于模型的过拟合引起的。过拟合应该是随机的,而不是具有系统性。相反,是由于欠拟合(线性)导致,在离决策边界远的地方分数很高(即使从没有那样的样本)神经网络事实上就是分段线性的(指的是输入和输...原创 2018-05-22 22:36:37 · 6496 阅读 · 0 评论 -
第十一讲--课时24
计算机视觉任务:semantic segmentation 是对图像中所有像素做分类,只要是一类的都不加区分,如下,两只奶牛都被标记的一样semantic segmentation方案一 sliding windows对每个小区域去做分类,且有重叠,计算量太大。方案二 Fully convolutional卷积过程中保持尺寸不变,改变深度。最后一层深度为C(类别数目),然后在channel上做a...原创 2018-05-13 11:27:19 · 149 阅读 · 0 评论 -
第十四讲--深度增强学习
增强学习: 通过agent和environment交互公式化:由于含有随机性,采用最大化期望值来确定pivalue function:给定初始态,reward的加权期望值Q value function:给定初始态和初始行为,reward的加权期望值...原创 2018-05-19 11:08:29 · 220 阅读 · 0 评论 -
第五讲-卷积神经网络---历史
感知机诞生多层感知机诞生反向传播方法诞生deep NN无法实现,多年无人问津-----------------------------------2006年 Hinton 使用受限玻尔兹曼机预训练,打破僵局2012年 Hinton使用卷积网络在语音和图像方面成功应用,开启热点------------------------------------1998年Le Cun 使用Le Net实现数字识别...原创 2018-04-30 11:26:05 · 100 阅读 · 0 评论 -
第五讲-卷积神经网络--课时13--卷积和池化
全连接------------------------------------------------------------------------------------------------------------------------------卷积卷积通过卷积核的参数共享,减少了参数数量(非常有效)。卷积核就是参数,需要反向传播学习得到。卷积核与全连接的权重参数不同,它只关心局部特征...原创 2018-04-30 20:18:41 · 208 阅读 · 0 评论 -
第五讲-卷积神经网络--课时12--视觉之外的卷积神经网络
卷积核也叫做感受野(receptive filed)卷积核与局部图像的一次内积求和,是下一层图像的一个像素点。那个像素点只看到了之前图像的局部。--------------------------------------------------------------------------------------------------------------------------------...原创 2018-05-01 11:48:41 · 201 阅读 · 0 评论 -
第八讲--深度学习软件--课时19
GPU最初就是为了游戏而开发的深度学习GPU目前指的就是英伟达的GPU--------------------------------------CPU一般是八核,十六核...可以同时做许多不同的事。可以多线程GPU一般是几千核,GPU的核很弱,很慢,需要几个协作才能处理任务CPU只有很小的cache,没有内存GPU本身有8/12/16GB的内存--------------------------...原创 2018-05-08 21:32:15 · 125 阅读 · 0 评论 -
第十二讲--可视化和理解卷积神经网络--课时28
Deep Dream原创 2018-05-17 11:07:20 · 311 阅读 · 0 评论 -
第十三讲--无监督--生成模型--课时29
生成式模型家谱:pixel CNN和pixel RNN都是Fully visible Belief Network原创 2018-05-17 14:28:00 · 322 阅读 · 0 评论 -
第十三讲--课时30--变分自编码器
variational autoencoders(VAE)VAE的概率分布引入了变量z,无法直接优化,我们要取其下限再做优化。----------------------------------------------------------------------------------------------------------------------自动编码机的Encoder和Decod...原创 2018-05-17 17:02:48 · 229 阅读 · 0 评论 -
第二讲课程4-数据驱动方法
网易云课堂中观看2017年视频记录第一讲为介绍性课程,略过。第二讲课程4k近邻的训练过程很简单,但是预测过程很费时间,并不是一个好的实用性算法。如今,我们的预测过程要在端设备(运算能力差)上完成,因此分类算法的预测过程要尽可能的减少运算量神经网络的预测过程只需要直接使用训练好的参数,因此更适合部署到设备中去。k近邻算法中,如果k=1,很容易由于噪声而过拟合。使用大于1的k可以使决策边界更平滑,得到...原创 2018-04-26 21:30:06 · 277 阅读 · 0 评论 -
第十三讲--生成模型--课时31--生成对抗网络
GAN没有显示概率分布,只是生成。训练好之后,用generator产生图片原创 2018-05-17 18:06:55 · 141 阅读 · 0 评论 -
第二讲课时5-k近邻算法
k近邻算法还有一些优化,如kd数,参看统计学习方法。http://vision.stanford.edu/teaching/cs231n-demos/knn/ 可调试KNN算法,查看超参数作用k近邻中的距离度量方式有L1,L2距离。如下图,L1的坐标轴转动会有影响,L2的坐标轴转动不影响距离,因此:如果数据本身各个特征有重要意义,那么使用使用L1可能会更好。但是最好的做法是L1,L2都试一下...原创 2018-04-26 22:43:24 · 267 阅读 · 0 评论 -
第九讲-CNN架构--课时20
LeNet-5-------------------------------------------------------------------------------------------------------------------------记得pooling没有参数!AlexNet由于当时GPU内存限制,网络被放在了两个GPU上...原创 2018-05-11 15:57:12 · 211 阅读 · 0 评论 -
第十讲--循环神经网络--课时21
VGG和GoogleLeNet发明的时候,batch normalization还没有出现,因此难以使得这些网络收敛VGG预训练了11层的网络,然后才得到16/19层的GoogleLeNet添加了两个auxiliary classification part有了batch norm以后,就不再需要那样做了-----------------------------------------------...原创 2018-05-11 18:52:43 · 316 阅读 · 0 评论 -
第十讲--循环神经网络--课时22--语言模型
language model即语言生成模型character level language model 训练过程训练过程的输入时给定的,结果是一个向量,进过softmax后就是为各个character的概率测试过程 输入是前一个的输出,输出是由soft max 之后的概率分布 采样得到的----------------------------------------------------...原创 2018-05-12 11:08:36 · 255 阅读 · 0 评论 -
第十讲-循环神经网络--课时23
image captioning 是由CNN和RNN连接起来的网络----------------------------------------------------------------------------------------------------------------------------Image captioning with Attention CNN处理图形后不再产...原创 2018-05-12 15:51:00 · 198 阅读 · 0 评论 -
强化学习--李宏毅
AI = 强化学习+深度学习 Alpha go是在监督学习的基础上,让两个机器对下聊天机器人问题:训练完之后不知道聊天是否聊的好,可以考虑使用GAN,添加discriminator去判断聊天是否是人类聊天强化学习的困难:接收到positive reward的动作是需要其他没有奖励动作的基础的,游戏系统很容易学成只会开枪而不移动(因为开枪有奖励,而移动没有)系统需要探索新的行为,不能永远只是移动...原创 2018-05-24 22:09:26 · 1017 阅读 · 0 评论