cs231n学习笔记——五.CNN 卷积神经网络

最新推荐文章于 2021-04-26 11:14:34 发布
最新推荐文章于 2021-04-26 11:14:34 发布
阅读量303 收藏
点赞数
分类专栏： cs231n 文章标签： 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34734252/article/details/111039985
版权

5.1 卷积神经网络简介

要介绍CNN，TA选择从神经网络的历史开讲，从1957年的单层感知器讲起
在这里插入图片描述
到1960年的多层感知器
在这里插入图片描述
到1986年才明确出现反向传播的方法，然而这也只是个理论可行的方法，在实际应用中还是被打烂了头
在这里插入图片描述
而直到2006年，深层网络才被验证是初步可训练和使用的，但是也很受限制，需要谨慎的进行初始化，当时是采用受限玻尔兹曼机进行预训练
在这里插入图片描述
而直到2012年Hinton和他的学生Alex才使用DNN，分别在语音识别和图像识别领域做出了很惊艳的成果，而图像领域的成果就是早期的CNN，其极大的降低了图像分类的误差并维持了很不错的分类速度
在这里插入图片描述
卷积在图像上的应用还是追溯到可怜的脑袋插电猫猫
在这里插入图片描述
他们根据大脑中电信号找到了和视觉信息相关的皮层
在这里插入图片描述
在此基础上，还发现这部分是存在层级关系的。实验发现视觉刺激会对视觉链路中不同层产生不同的刺激，比如视觉信息会对初级皮层中的视网膜感受神经节造成中心辐射式的刺激，而其他的细胞可能对不同朝向的光以及视觉中目标的边缘产生反应，不同的细胞面向视觉信息中不同的特征产生反应，而这种将视觉信息解耦再在大脑中重组的过程，就成为了卷积神经网络诞生的思路基础
在这里插入图片描述
然后1980年就有日本老哥根据这种特点提出一种s-c层交替的网络结构，这种简单simple-复杂complex节点交替的结构显然要比全复杂节点构成的网络更好训练，同时也保证了一定的模型效果
在这里插入图片描述
然后就有了1998年的LeNet
在这里插入图片描述
然后有了2012年的AlexNet，结构上没有太大区别，只是节点更多，层数更深，从而可以解决复杂的图像分类问题

然后现在CNN就到处用了，包括图像的分类，重建，检测，分割等等
在这里插入图片描述在这里插入图片描述
还被应用到了自动驾驶、人脸识别、视频分类、姿态检测、玩小游戏啥的，太多了，后面懒得截图了
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.2 卷积神经网络的结构

先从全连接层讲起，最简单神经网络的连接方式就是全连接，比如对于一个32323的图像输入，我们会把他展开成30721的数据输入，根据权重计算之后，输出就是一个单值，但事实上这样就失去了像素数据之间的空间关系，我们又不是不想保留空间关系，我们是木得办法，所以卷积层的出现提出了一种解决思路
在这里插入图片描述
卷积层是用一个过滤器filter作为权重，filter的最后维度和图像的最后维度相同，则可以将图像和filter进行卷积计算，即滑动点乘
在这里插入图片描述
然后用同样大小不同数值的filter分别计算出新的结果，这些结果就是卷积层对原始输入的初步计算
在这里插入图片描述
然后每层加上一个激活神经元（比如Relu），多叠几层，就是个CNN了
在这里插入图片描述
以VGG举例，可能浅层网络理解的是一些低阶语义，比如边缘之类的，而高层就在学习一些复杂语义，比如拐角或者斑点之类的（不知道在学啥了），总之从浅层到深层相当于从简单到复杂的特征序列
在这里插入图片描述
然后又拿个车尾灯的多层卷积举例子，可以看到蓝色层已经有点常规理解的车灯特征的感觉了
在这里插入图片描述
CNN的卷积层&激活层&池化层结构如下，不过说后面讲池化，行吧你是TA你说了算
在这里插入图片描述
然后讲快乐的卷积计算，嘛很熟了就随便截图一张，这张应该是计算一个same的卷积，做的0填充
在这里插入图片描述
事实上不进行填充的话原始的图像输入在深层网络中会收缩的很快，而这会导致信息的损失
在这里插入图片描述
嘛然后就是卷积层的总结了
在这里插入图片描述
同时给出了一些常见的超参数组
在这里插入图片描述
然后给了caffee中实际设计时候的一个对应
在这里插入图片描述
嘛这个部分不错，讲了一下其实不同层的卷积计算在面对用一个空间位置进行计算的时候就类似与不同层次的神经元面对同一个视觉输入的不同层次刺激变化，而这就是卷积层区别于全连接层的核心
在这里插入图片描述
哈！讲到池化层啦，池化层主要是为了将之前层生成的表示缩小，越小需要训练的参数越少，但是这种缩小和之前卷积层不填充导致的缩小是不同的，卷积层的缩小伴随的是边缘信息的损失，而池化层的缩小更相当于数据压缩，这种压缩面对完整的信息矩阵的每一个位置是同步的
在这里插入图片描述
比如最常见的Max Pooling，在22的区域里面取最大值作为降采样结果，相当于认为最大值是临近区域的最关键信息
在这里插入图片描述
不得不说，有个最大池化部分的弹幕给我看乐了，虽然语义结构上不太对，但是意会到想表达的意思了hhhh
在这里插入图片描述
然后同样给出了一些常见设置
在这里插入图片描述
一堆絮絮叨叨的还原分析就不说了，直接总结！下课！
在这里插入图片描述

谷雨·清明
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福CS231课程笔记（上）
cookie
03-17 3064
CS231n: Convolutional Neural Networks for Visual Recognition课程主页：http://cs231n.github.io/convolutional-networks/笔记中文翻译：https://zhuanlan.zhihu.com/p/21930884?refer=intelligentunit                      ...
cs231n-学习笔记-05卷积神经网络
cheertt的博客
09-14 474
卷积神经网络 1 简介 全连接网络层 32x32x3的图像->伸展成3072x1 输入x (3072,1) 计算Wx (10,3072) x (3072,1) = (10,1) 输出y (10,1) 卷积网络层 卷积核的深度总是和输出体的深度相同。 卷积网络由一些卷积层组成，中间穿插激活函数。 一个卷积核->一个激活层 步长一定要匹...
CNN的参数量、计算量（FLOPs、MACs）与运行速度
张鹏的博客
04-28 4万+
深度学习模型复杂度 描述一个具体的深度学习模型，除了性能指标（分类任务的准确度、检测任务的mAP等），还需要考虑该模型的复杂度，即（前向推理的）计算量和参数个数(Parameters)，前者描述了所需的计算力，后者描述了所需内存 FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。...
谷歌提出新型卷积网络EfficientNet: 推理速度升5.1倍参数减少88%,需要我们的验证
周红伟讲AI
06-01 1983
推理速度升5.1倍参数减少88%:谷歌提出新型卷积网络EfficientNet 谷歌提出了一项新型模型缩放方法：利用复合系数统一缩放模型的所有维度，该方法极大地提升了模型的准确率和效率。谷歌研究人员基于该模型缩放方法，提出了一种新型 CNN 网络 EfficientNet，该网络具备极高的参数效率和速度。目前，该模型的代码已开源。 卷积神经网络（CNN）通常以固定成本开发，然后再按比例放大，从...
cs231n学习笔记-CNN-目标检测、定位、分割
热门推荐
MyArrow的专栏
07-11 5万+
1. 基本概念 1）CNN：Convolutional Neural Networks  2） 2. CNN基本知识 2.1 CNN的卷积流程  1）Activations maps的个数与Filter的个数一致。 2）输入层与Filter、Padding、Stride、参数和输出层的关系
CS231N(1)-- 简介
博观而约取，深研而广求
08-19 1384
CS231N是一门讲解卷积神经网络及其相关知识的经典课程，从今天开始将进行卷积神经网路的重温以及系统化地学习。首先是简介部分的相关内容，主要讲解的是机器视觉的相关历史以及课程的相关情况。以下总结内容(以及以后的总结内容)将以个人的感受为主，希望对相关问题能够进行系统化地梳理。一个小插曲，当我注册的时候一个问题相当地有趣：以下仅仅以几个较为突出的算法来进行分析。Image SegmentationIm
CS231N 卷积神经网络课程学习笔记
erinchen92的专栏
08-21 5399
CS21N 是斯坦福大学教授李菲菲的课程，主要讲卷积神经网络相关内容，为了更好的记忆，整理下笔记。文中有些不对的术语和理解还请大家指正。   一、卷积神经网络的结构     传统的神经网络一般由输入，点乘，非线性变换组成，由于每一层和前一层都是全连接，网络的复杂度和输入的图像大小有很大的关系，如果图像过大，输入层的参数会非常多。卷积神经网络则利用输入图像的一些特征，可以更有效地学习同时也大大
CS231n课程笔记翻译：卷积神经网络笔记.pdf
05-18
CS231n课程笔记翻译：卷积神经网络笔记，Andrej Karpathy授课，由杜客和猴子翻译完成，堃堃和李艺颖进行校对修改
cs231n-卷积神经网络-视频教程-文档等等
07-07
cs231n-卷积神经网络-视频教程-文档等等。 卷积神经网络最好的教程之一。
CS231n课程笔记翻译：卷积神经网络笔记1
08-03
卷积神经网络（CNNs/ConvNets）是深度学习领域中用于图像处理的重要模型，其设计灵感来源于生物视觉系统，特别适合处理二维图像数据。相比于传统的全连接神经网络，CNNs具有以下特点： 1. **卷积层**：卷积层是CNNs...
cs231n卷积神经网络
12-03
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，广泛应用于计算机视觉领域，如图像分类、目标检测、图像语义分割等。该模型灵感来源于生物视觉系统，尤其是哺乳动物的视觉皮层结构。在...
卷积和池化（CS231n）
dawningblue的博客
09-29 3043
用不是特别严谨但是比较通俗的语言描述整个过程 卷积神经网络是从卷积层开始介绍的，而卷积层的介绍是从全连接层开始介绍的 全连接层的处理方式是一次性处理一张图片的全部信息，处理的方式是将图片信息和权重矩阵做乘积，得到一个评分结果。 在细节层面上： 我们会把一张图的全部信息拉成一个一维的向量，一张图的全部信息原始的状态像一个长方体方体（32 X 32 X 3） 权重矩阵和这个图片信息的矩阵乘法，本质上来...
CNN笔记（CS231N）——训练神经网络II（Training Neural Networks, Part 2）
shanwenkang的博客
02-01 387
训练神经网络 我们接着上一讲继续，这一讲主要讲的是优化、正则化与迁移学习 高级优化 我们首先来看看传统的随机梯度优化有什么问题，如果损失函数在一个维度上梯度比较小，在另一个维度上梯度比较大，那么这种情况下就会出现沿着梯度小的维度变化缓慢，另一个方向变化迅速，出现如下图这种震荡现象导致收敛缓慢 除此以外就是局部最小值与驻点的问题，局部最小值在多维特征的情况下出现的几率比较小，最常见的是驻...
李飞飞计算机视觉课程CS213n课程笔记
haimianjie2012的专栏
03-18 1268
训练神经网络的细节part1 数据预处理Data Preprocesing 数据预处理就是假设你有一个二维原始数据团，并且数据团是以（2,0）为中心的，这就意味着我们们要让每一个特征值减去均值。 在机器学习中，你会发现有人对数据进行归一化处理。在每个维度上除以标准差进行标准化，或者确保每个维度最大值和最小值在-1到1之间。有很多种归一化方法，但在图像处理中并不常用，因为你不用区分不同的特征，...
stanford cs231 CNN笔记
marco2018的博客
01-08 818
CNN 卷积神经网络 CNN可以分为卷积层CONV 激活层RELU 池化层POOL以及最后的全连接层 FC 输入图像为32*32*3 3表示3个通道 经过第一层 有10个filter，每个filter尺寸为5*5 则第一层的输出为28*28*10 28是如何计算得到的？ （32-5）/1+1=28 上面的情况是只考虑stride为1的情况下， N=7 filter size=
cs231n笔记：卷积神经网络（cnn）和池化（pooling）
pangpangben的博客
04-26 619
卷积神经网络（convolutional nural network ）：更能保留输入的空间结构 CNN的一些历史： 感知机（perceptron） 多层感知机（multilayer perceptron networks） 反向传播 AlexNet：与LetNet-5看上去差别不大，只是扩展得更大、更深。重点是能充分利用大量数据，也充分发挥了GPU并行计算能力的优势 全连接层与卷积层的对比： 卷积层的权重是一些小的卷积核（此例中为553 filter），然后将卷积核在整个图像上滑动，计算出每个空间
使用 JavaScript 编写的记忆游戏（附源代码）.zip
07-22
使用 JavaScript 编写的记忆游戏（附源代码）   项目：JavaScript 记忆游戏（附源代码） 记忆检查游戏是一个使用 HTML5、CSS 和 JavaScript 开发的简单项目。这个游戏是关于测试你的短期 记忆技能。玩这个游戏 时，一系列图像会出现在一个盒子形状的区域中 。玩家必须找到两个相同的图像并单击它们以使它们消失。 如何运行游戏？ 记忆游戏项目仅包含 HTML、CSS 和 JavaScript。谈到此游戏的功能，用户必须单击两个相同的图像才能使它们消失。 点击卡片或按下键盘键，通过 2 乘 2 旋转来重建鸟儿对，并发现隐藏在下面的图像！ 如果翻开的牌面相同（一对），您就赢了，并且该对牌将从游戏中消失！ 否则，卡片会自动翻面朝下，您需要重新尝试！ 该游戏包含大量的 javascript 以确保游戏正常运行。 如何运行该项目？ 要运行此游戏，您不需要任何类型的本地服务器，但需要浏览器。我们建议您使用现代浏览器，如 Google Chrome 和 Mozilla Firefox， 以获得更好、更优化的游戏体验。要玩游戏，首先，通过单击 memorygame-index.html 文件在浏览器中打开游戏。 演示： 该项目为国外大神项目，可以作为毕业设计的项目，也可以作为大作业项目，不用担心代码重复，设计重复等，如果需要对项目进行修改，需要具备一定基础知识。 注意：如果装有360等杀毒软件，可能会出现误报的情况，源码本身并无病毒，使用源码时可以关闭360，或者添加信任。
全国计算机三级（网络技术）做题技巧
最新发布
07-22
全国计算机三级（网络技术）做题技巧
斯坦福CS231n：深度学习与卷积神经网络视觉识别
CS231n课程通过深入讲解卷积神经网络，为学生提供了一个深入了解视觉识别的平台，使他们能够在深度学习领域建立起坚实的理论基础和实践经验。通过这门课程的学习，学生不仅能够理解CNN的工作原理，还能掌握解决复杂...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值