第五讲-卷积神经网络---历史

最新推荐文章于 2018-05-24 22:09:26 发布

i_chase

最新推荐文章于 2018-05-24 22:09:26 发布

阅读量100

点赞数

分类专栏： cs231n视觉识别

本文链接：https://blog.csdn.net/qq_39638957/article/details/80148011

版权

cs231n视觉识别专栏收录该内容

32 篇文章 2 订阅

订阅专栏

感知机诞生

多层感知机诞生

反向传播方法诞生

deep NN无法实现，多年无人问津

-----------------------------------

2006年 Hinton 使用受限玻尔兹曼机预训练，打破僵局

2012年 Hinton使用卷积网络在语音和图像方面成功应用，开启热点

------------------------------------

1998年Le Cun 使用Le Net实现数字识别

-------------------------------------------------------------------------------------------------------

2012年，Alex和Hinton发明Alex Net

-------------------------------------------------------------------------------------------------------

Image Captioning Deep Dream Neural Transfer

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

i_chase

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

人工智能-卷积神经网络的改进及其应用.pdf

07-05

卷积神经网络是深度学习中的一种重要模型，自1998年Yann LeCun等人提出首个较为成熟的卷积神经网络（LeNet-5）以来，卷积神经网络就在工业界和研究界受到了极大的关注。但是，由于当时的内存和硬件的限制无法得到...

2012－ImageNet数据集冠军AlexNet论文英文原文及AlexNet分析

热门推荐

FengInYe的博客

11-24

1万+

最近几个月来一直在研究卷积神经网络，主要是应用开源框架TensorFlow对网络进行训练，训练时是根据自己对卷积神经网络的理解，自己构建的网络结构，一直没有想过应用那些在ImageNet数据竞赛中，获得冠军的网络，这几天突然想自己写下AlexNet网络的代码，在网上找到了Alex Krizhevsky的论文原文，在这里分享一下，网盘链接：http://pan.baidu.com/s/1boSo0

参与评论您还未登录，请先登录后发表或查看评论

机器学习-卷积神经网络

05-05

机器学习-卷积神经网络 机器学习是人工智能领域中的一种主要技术，卷积神经网络（Convolutional Neural Network，CNN）是机器学习中的一种深度学习算法。卷积神经网络是为图像识别和信号处理而设计的，具有广泛的...

CIFAR-10数据集-卷积神经网络的Tensorflow实现

01-30

文件夹包括data子文件夹（里面是用于训练卷积神经网络的CIFAR-10数据集）、CIFAR-10.ipynb（里面是卷积神经网络的实现代码，在jupyter里运行它便可以训练自己的卷积神经网络）。文件夹中其他文件是写代码时我做测试...

MNIST数据集-卷积神经网络-python源码

12-05

scikit-learn，简称sklearn，一个强大的Python机器学习库，本代码的“MNIST数据集”相当于机器学习领域的Hello World，非常经典，是一个卷积神经网络模型，下载中包含已经运行过的jupyter notebook的.ipynb文件，放...

第7章-卷积神经网络I1

08-04

在第7章“卷积神经网络I1”中，主要讨论了CNNs如何解决传统全连接神经网络在处理图像时面临的参数过多和计算复杂度高的问题。 1. **问题引入**： - 对于1000x1000像素的灰度图像，如果采用全连接方式构建神经网络...

第十六讲--对抗样本和对抗训练

qq_39638957的博客

05-22

6495

对于人眼来说，图片没有发生变化，还是熊猫但是！对于训练好的模型来说，这个样本会被分类为猴子不只是神经网络，线性模型也会被攻击，下图圈出来的“9”已结不再被模型认为是“9”了这种表明看起来没有区别的对抗样本，不是由于模型的过拟合引起的。过拟合应该是随机的，而不是具有系统性。相反，是由于欠拟合（线性）导致，在离决策边界远的地方分数很高（即使从没有那样的样本）神经网络事实上就是分段线性的（指的是输入和输...

强化学习--李宏毅

qq_39638957的博客

05-24

1017

AI = 强化学习+深度学习 Alpha go是在监督学习的基础上，让两个机器对下聊天机器人问题：训练完之后不知道聊天是否聊的好，可以考虑使用GAN，添加discriminator去判断聊天是否是人类聊天强化学习的困难：接收到positive reward的动作是需要其他没有奖励动作的基础的，游戏系统很容易学成只会开枪而不移动（因为开枪有奖励，而移动没有）系统需要探索新的行为，不能永远只是移动...

第十五讲--深度学习的方法及硬件

qq_39638957的博客

05-21

901

为了更好地准确率，模型越来越大不同硬件消耗的能量不同* 谷歌的TPU是一种ASIC，专门用于深度学习---------------------------------------------------------------------------------------------------------计算机中的数字是离散的，不可能穷尽。fixed point只有8位，谷歌TPU就是使用了这...

第三讲-损失函数和优化-课时7--损失函数

qq_39638957的博客

04-28

705

SVM有点忘记了，记不得score怎么计算的。该复习一下统计学习方法和林轩田的课了。-----------------------------------------------------------------------------------------SVM也是线性分类而已，损失函数是hinge loss，之所以那么复杂的推导来推到去，只是因为：hinge loss不是处处可导，不能用梯...

第六讲-训练神经网络上--课时15--批量归一化

qq_39638957的博客

05-07

622

batch norm“you want unit gaussian activations? Just make them so”卷积神经网络由于需要保留空间信息，对所有batch使用同样的均值和方差。普通全连接网络各个batch使用各自的mean和variancegamma和beta是为了添加噪声，具有正则化的作用，它们是学习得到的参数。gamma和bata使得更flexible，比如tanh中...

第十二讲--可视化和理解卷积神经网络--课时27

qq_39638957的博客

05-14

436

卷积网络第一层的卷积核为n_H*n_W*3,将其可视化出来，可以看到，都是些方向边缘。即这些卷积核在找边缘特征------------------中间层的权重可以通过调整为灰度图可视化，但是看不出来意义------------------网络最后得到的特征是有意义的，下图中显示，特征近邻的图片确实是一类。比在原始图像上寻找近邻的效果好。-------------------------------...

第十三讲--无监督--生成模型--课时29

qq_39638957的博客

05-17

322

生成式模型家谱：pixel CNN和pixel RNN都是Fully visible Belief Network

第十讲--循环神经网络--课时21

qq_39638957的博客

05-11

316

VGG和GoogleLeNet发明的时候，batch normalization还没有出现，因此难以使得这些网络收敛VGG预训练了11层的网络，然后才得到16/19层的GoogleLeNet添加了两个auxiliary classification part有了batch norm以后，就不再需要那样做了-----------------------------------------------...

第十二讲--可视化和理解卷积神经网络--课时28

qq_39638957的博客

05-17

311

Deep Dream

第二讲课程4-数据驱动方法

qq_39638957的博客

04-26

277

网易云课堂中观看2017年视频记录第一讲为介绍性课程，略过。第二讲课程4k近邻的训练过程很简单，但是预测过程很费时间，并不是一个好的实用性算法。如今，我们的预测过程要在端设备（运算能力差）上完成，因此分类算法的预测过程要尽可能的减少运算量神经网络的预测过程只需要直接使用训练好的参数，因此更适合部署到设备中去。k近邻算法中，如果k=1，很容易由于噪声而过拟合。使用大于1的k可以使决策边界更平滑，得到...

第二讲课时5-k近邻算法

qq_39638957的博客

04-26

267

k近邻算法还有一些优化，如kd数,参看统计学习方法。http://vision.stanford.edu/teaching/cs231n-demos/knn/ 可调试KNN算法，查看超参数作用k近邻中的距离度量方式有L1，L2距离。如下图，L1的坐标轴转动会有影响，L2的坐标轴转动不影响距离，因此：如果数据本身各个特征有重要意义，那么使用使用L1可能会更好。但是最好的做法是L1，L2都试一下...

第十讲--循环神经网络--课时22--语言模型

qq_39638957的博客

05-12

255

language model即语言生成模型character level language model 训练过程训练过程的输入时给定的，结果是一个向量，进过softmax后就是为各个character的概率测试过程输入是前一个的输出，输出是由soft max 之后的概率分布采样得到的----------------------------------------------------...

第六讲-训练神经网络（上）--课时14-激活函数

qq_39638957的博客

05-07

238

激活函数-----------------------------------------------------------------------------------------------sigmoid：将值激活压缩到0-1之间缺点：（1）梯度很容易为0，这个激活结点杀死了反向传播回来的梯度，易造成梯度消失（2）激活之后的均值不是0，全部都是正值（0-1之间）f = sum(WiXi)+...

python：实现人马图像分类--卷积神经网络