One PUNCH Man——深度学习入门

最新推荐文章于 2023-12-01 17:02:04 发布
最新推荐文章于 2023-12-01 17:02:04 发布
阅读量1.6k 收藏 9
点赞数 1
分类专栏： 一拳超人从不秃头 文章标签： 一拳超人从不秃头
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/No_Game_No_Life_/article/details/89876063
版权

文章目录

人类视觉原理

深度学习的许多研究成果，离不开对大脑认知原理的研究，尤其是视觉原理的研究。

1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和TorstenWiesel，以及 Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”，可视皮层是分级的。

人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。下面是人脑进行人脸识别的一个示例：
在这里插入图片描述
我们可以看到，在最底层特征基本上是类似的，就是各种边缘，越往上，越能提取出此类物体的一些特征（轮子、眼睛、躯干等），到最上层，不同的高级特征最终组合成相应的图像，从而能够让人类准确的区分不同的物体。

那么我们可以很自然的想到：可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？答案是肯定的，这也是许多深度学习算法（包括CNN）的灵感来源。

从神经网络到卷积神经网络（CNN）

我们知道神经网络的结构是这样的：
在这里插入图片描述
那卷积神经网络跟它是什么关系呢？
其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。
在这里插入图片描述
卷积神经网络的层级结构
• 数据输入层/ Input layer
• 卷积计算层/ CONV layer
• ReLU激励层 / ReLU layer
• 池化层 / Pooling layer
• 全连接层 / FC layer

注意看，上图，卷积层（CONV）和激励层（RELU）以及池化层（POOL）是反复交错的。

降低参数量级
综合起来说，CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。
如果我们使用传统神经网络方式，对一张图片进行分类，那么，我们把图片的每个像素都连接到隐藏层节点上，那么对于一张1000x1000像素的图片，如果我们有1M隐藏层单元，那么一共有10^12个参数，这显然是不能接受的。（如下图所示）
在这里插入图片描述
但是我们在CNN里，可以大大减少参数个数，我们基于以下两个假设：
1）最底层特征都是局部性的，也就是说，我们用10x10这样大小的过滤器就能表示边缘等底层特征。
2）图像上不同小片段，以及不同图像上的小片段的特征是类似的，也就是说，我们能用**同样的一组分类器（filter）**来描述各种各样不同的图像。

基于以上两个，假设，我们就能把第一层网络结构简化如下：
在这里插入图片描述

我们用100个10x10的小过滤器，就能够描述整幅图片上的底层特征。

数据输入层

该层要做的处理主要是对原始图像数据进行预处理，其中包括：
• 去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
• 归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
• PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化

去均值与归一化效果图：
在这里插入图片描述
去相关与白化效果图：
在这里插入图片描述
数据输入层的内容我们点到为止，具体方法和理论以后有机会再深入了解。

卷积计算层

这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。
在这个卷积层，有两个关键操作：
• 局部关联。每个神经元看做一个滤波器(filter)
• 窗口(receptive field)滑动， filter对局部数据计算

先介绍卷积层遇到的几个名词：
• 深度/depth
• 步长/stride （窗口一次滑动的长度）
• 填充值/zero-padding

填充值是什么呢？以下图为例子，比如有这么一个55的图片（一个格子一个像素），我们滑动窗口取22，步长取2，那么我们发现还剩下1个像素没法滑完，那怎么办呢？
在这里插入图片描述
那我们在原先的矩阵加了一层填充值，使得变成6*6的矩阵，那么窗口就可以刚好把所有像素遍历完。这就是填充值的作用。
在这里插入图片描述

卷积的计算

在这里插入图片描述
这里的蓝色矩阵就是输入的图像，粉色矩阵就是卷积层的神经元，这里表示了有两个神经元（w0,w1）。绿色矩阵就是经过卷积运算后的输出矩阵，这里的步长设置为2。
在这里插入图片描述
蓝色的矩阵(输入图像)对粉色的矩阵（filter）进行矩阵内积计算并将三个内积运算的结果与偏置值b相加（比如上面图的计算：2+（-2+1-2）+（1-2-2） + 1= 2 - 3 - 3 + 1 = -3），计算后的值就是绿框矩阵的一个元素。

下面是计算的动态图：
https://img2018.cnblogs.com/blog/1093303/201901/1093303-20190120113539659-455066516.gif

参数共享机制

在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。

上面说到，对图像的滤波处理就是对图像应用一个小小的卷积核，那这个小小的卷积核到底有哪些魔法，能让一个图像从惨不忍睹变得秀色可餐。下面我们一起来领略下一些简单但不简单的卷积核的魔法。

  • 啥也不做

在这里插入图片描述

  • 图像锐化滤波器Sharpness Filter

图像的锐化和边缘检测很像，首先找到边缘，然后把边缘加到原来的图像上面，这样就强化了图像的边缘，使图像看起来更加锐利了。这两者操作统一起来就是锐化滤波器了，也就是在边缘检测滤波器的基础上，再在中心的位置加1，这样滤波后的图像就会和原始的图像具有同样的亮度了，但是会更加锐利。
在这里插入图片描述
我们把核加大，就可以得到更加精细的锐化效果

在这里插入图片描述
另外，下面的滤波器会更强调边缘：
在这里插入图片描述

  • 边缘检测

我们要找水平的边缘：需要注意的是，这里矩阵的元素和是0，所以滤波后的图像会很暗，只有边缘的地方是有亮度的。
在这里插入图片描述
为什么这个滤波器可以寻找到水平边缘呢？因为用这个滤波器卷积相当于求导的离散版本：你将当前的像素值减去前一个像素值，这样你就可以得到这个函数在这两个位置的差别或者斜率。下面的滤波器可以找到垂直方向的边缘，这里像素上和下的像素值都使用：
在这里插入图片描述
下面这个滤波器就可以检测所有方向的边缘:
在这里插入图片描述

激励层

把卷积层输出结果做非线性映射。
在这里插入图片描述
CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱，图像如下。
在这里插入图片描述

池化层

池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。

  1. 特征不变性，也就是我们在图像处理中经常提到的特征的尺度不变性，池化操作就是图像的resize，平时一张狗的图像被缩小了一倍我们还能认出这是一张狗的照片，这说明这张图像中仍保留着狗最重要的特征，我们一看就能判断图像中画的是一只狗，图像压缩时去掉的信息只是一些无关紧要的信息，而留下的信息则是具有尺度不变性的特征，是最能表达图像的特征。

  2. 特征降维，我们知道一幅图像含有的信息是很大的，特征也很多，但是有些信息对于我们做图像任务时没有太多用途或者有重复，我们可以把这类冗余信息去除，把最重要的特征抽取出来，这也是池化操作的一大作用。

  3. 在一定程度上防止过拟合，更方便优化。

池化层用的方法有Max pooling 和 average pooling，而实际用的较多的是Max pooling。

这里就说一下Max pooling，其实思想非常简单。
在这里插入图片描述

对于每个22的窗口选出最大的数作为输出矩阵的相应元素的值，比如输入矩阵第一个22窗口中最大的数是6，那么输出矩阵的第一个元素就是6，如此类推。

全连接层

两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的：
在这里插入图片描述
一般CNN结构依次为
　　1. INPUT
　　2. [[CONV -> RELU]*N -> POOL?]*M
　　3. [FC -> RELU]*K
　　4. FC

CNN优缺点

卷积神经网络之优缺点
优点
　　• 共享卷积核，对高维数据处理无压力
　　• 无需手动选取特征，训练好权重，即得特征分类效果好
缺点
　　• 需要调参，需要大样本量，训练最好要GPU
　　• 物理含义不明确（也就说，我们并不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”）

卷积神经网络的常用框架

Caffe
　　• 源于Berkeley的主流CV工具包，支持C++,python,matlab
　　• Model Zoo中有大量预训练好的模型供使用
Torch
　　• Facebook用的卷积神经网络工具包
　　• 通过时域卷积的本地接口，使用非常直观
　　• 定义新网络层简单
TensorFlow
　　• Google的深度学习框架
　　• TensorBoard可视化很方便
　　• 数据和模型并行化好，速度快

参考资料：
https://www.cnblogs.com/alexcai/p/5506806.html
https://www.cnblogs.com/skyfsm/p/6790245.html
http://www.cnblogs.com/Ponys/p/3428270.html
https://blog.csdn.net/linlang1536/article/details/78925115

No_Game_No_Life_
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
【深度学习】计算机视觉（五）——卷积神经网络详解
RK_Dangerous的博客
07-08 1万+
在之前学习的基础上，对神经网络进一步学习
卷积神经网络（CNN）的整体框架及细节（详细简单）
小林学编程的博客
04-06 8万+
详细简单的介绍卷积神经网络（CNN)，让读者快速掌握！！！
Deep Learning（深度学习）学习笔记整理系列之（七）
热门推荐
zouxy09的专栏
04-10 66万+
Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2）本文仅供学
卷积神经网络的简单理解
小呆苗的博客
05-26 1万+
一、灵感来源   CNN主要灵感来自于神经科学视觉系统中的视觉皮层，经研究发现大脑生物皮层的不通视觉细胞仅会对特定部分的视觉区域敏感。 二、定义   卷积神经网络（Convolutional Neural Networks）是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。 三、卷积神经网络结构 数据输入层（Input layer） ：该层要做的处理主要是对原始图像数据进行预处理。CNN的输入层的输入格式保留了图片本身的结构。分别对于黑白的 28×28的图片，CNN 的输入是一.
One Punch Man Theme-crx插件
04-05
【One Punch Man Theme-crx插件】是一款专为浏览器设计的扩展程序，旨在为用户提供一个与热门动漫《一拳超人》（One Punch Man）相关的主题体验。这款插件允许用户通过简单的点击操作，即可在浏览器环境中感受到《一...
One Punch Man Wallpaper Background New Tab-crx插件
03-14
这是One Punch Man Wallpaper Background New Tab的扩展，该动画使每个人都惊讶 如果您想在观看《一拳超人》时获得完整的体验，并且想要了解Sa玉如何获得权力的真正秘诀，那么我们建议您安装《一拳超人》壁纸背景新...
One Punch Man Season 2 Wallpaper New Tab-crx插件
04-06
这是One Punch Man Season 2 Wallpaper New Tab的延伸，这部动画令所有人赞叹不已 这是对“一拳超人”的扩展。 有史以来最酷的动漫。 如果您已经看过动漫，那么毫无疑问，您应该安装此One Punch Man Season 2 ...
高清壁纸一个冲床男人「HD Wallpapers One Punch Man」-crx插件
03-18
在这个扩展中，你会发现一个冲床男子的主题壁纸。 如果您想更改标签，并且是“一拳超人”的爱好者和爱好者？因此，这些壁纸适合您。 支持语言:Deutsch,English,Français,español,italiano,português (Brasil),...
目标检测：各种网络结构对比
那年聪聪
02-09 4262
包含FPN等常用的网络结构。
卷积神经网络（CNN）详细介绍及其原理详解
最新发布
数据派THU
12-01 376
来源：机器学习算法那些事‍‍‍ 本文约5000字，建议阅读8分钟 本文总结了关于卷积神经网络（CNN）的一些基础的概念。前言本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！一、什么是卷积神经网络卷积神经网络（Convolut...
CNN卷积神经网络结构
LifeBackwards的专栏
08-03 1万+
卷积神经网络通常是由四部分组成：输入层、卷积层、下采样层、全连接层和输出层。典型的卷积神经网络中，开始的几层一般是卷积层和下采样层交替出现，靠近输出层的最后几层通常是全连接层，其结构如图2-4所示。一幅原始二维图像输入卷积神经网络网络进入卷积层后，将会被卷积核函数作用提取到输入图像的局部特征，这些局部特征一旦被提取之后，它们之间的位置关系也会随之确定下来。一个卷积核对应一种特征，对同一幅图像采用相同卷积核提取不同位置的相同特征构成一幅特征图，这方式称作卷积神经网的权值共享。通过增加卷积核个数，对输入图像同一
卷积神经网络(CNN)基础介绍
网络资源是无限的
01-16 36万+
卷积神经网络(CNN)基础介绍
深度学习 卷积神经网络原理
李乾文的博客
10-30 2015
本文分析了全连接层存在的局限性，然后引出卷积的思想方法，介绍了如何进行卷积、池化计算，提取特征。学习了卷积神经网络，就可以用神经网络高效地进行图像处理，比如说用于人脸识别、图片清晰化、风格迁移等。【目录】一、前言 二、全连接层的局限性 三、卷积层 3.1 如何进行卷积运算？ 3.2 偏置 3.3 填充 3.4 步长 3.5 卷积运算是如何保留图片特征的？ 3.6 三维卷积 3.7 多种特征提取 四、池化层 五、全连接层 六、参考资料
CNN卷积神经网络的网络结构和学习原理
wtt561111的专栏
06-27 1410
卷积神经网络，主要是对图片进行处理。假如需要对一个1000*1000的图片进行分类，如果用传统的机器学习或者DNN，如要输入1000000个特征，当然也可以提前用一些方法进行降维，但是处理还是不方便。有人提出，人类对于图像的判断，也是通过对图像进行多层抽象完成。于是就提出了卷积的概念。 图中是一个图形识别的CNN模型。可以看出最左边的船的图像就是我们的输入层，计算机理解为输入若干...
神经网络与卷积神经网络结构概述——神经网络入门
qq_43722079的博客
08-12 3406
一、神经网络与卷积神经网络 这里我们构建一个两层神经网络，理论上两层神经网络已经可以拟合任意函数。这个神经网络的结构如下图： 首先去掉图1中一些难懂的东西，如下图： 1. 输入层 在例子中，输入层是坐标值，例如（1,1），这是一个包含两个元素的数组，也可以看作是一个 1×2 的矩阵。输入层的元素维度与输入量的特征息息相关，如果输入的是一张 32×32 像素的灰度图像，那么输入层的维度就是 32×32。 2. 从输入层到隐藏层 连接输入层和隐藏层的是 W1 和 b1。由X计算得到 H 十分简单，就
卷积神经网络详解
m2xgo的博客
03-10 2746
卷积神经网络(Convolutional Neural Networks, CNN)是应用最多、研究最广的一种神经网络，卷积神经网络（以下简称CNN）主要用于图片分类，自动标注以及产品推荐系统中。以CNN实现图片分类为例，图像经过多个卷积层、池化层复合而成的组件后，实现图像降维并提取到主要特征，最后再利用全连接神经网络实现分类，一个完整CNN实现识别图像的示意图如下： 将一个矩阵用其中元素最大值或平均值代替称为下采样，在CNN中称为数据池化，池化可以有效地实现数据降维；相反从池化后结果再将数据还原称.
如何用 matplotlib 画论文中的CNN结构图
weixin_42180950的博客
02-07 8092
主要介绍两种用matplotlib画CNN结构图的方法代码，下一篇介绍用pydot画CNN结构图。 1.如果你需要这样的结构图，如下图：   代码资源可以在GitHub上找到，具体连接有很多，很容易找到，比如：https://github.com/gwding/draw_convnet，这里主要分析一下代码的原理和结构 原理：采用的是以列表的形式保存各类层的数据 如卷积层的数据表...
卷积神经网络原理简述
weixin_45649258的博客
05-31 3147
1 CNN原理 卷积神经网络主要应用在图像识别领域中，是指非某类网络的集合，其中包含了多种不同类型的结构。 不同网络结构，其性能一般也会有所不同。 通过对CNN几种典型架构的研究，我们可以发现这些网络创造者们极富创意，其中许多架构十分精巧，他们获得了重新引入当今主流几种典型架构的机会。 下面就从卷积神经网络原理开始。 所有CNN的最终目的就是将一幅照片变成一个特征向量，而特征向量等于这幅照片的DNA。 与上面的VGG网络类似，经过若干层卷积、池化和全连接等步骤，使图片维度减少，并最终转化为一维向量。 该
ABAQUS钣金冲压成型例题讲解.pdf
03-18
ABAQUS钣金冲压成型例题讲解.pdf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值