卷积神经网络（CNN）学习笔记 ——李宏毅

最新推荐文章于 2024-04-29 15:35:29 发布
最新推荐文章于 2024-04-29 15:35:29 发布
阅读量620 收藏 1
点赞数 2
分类专栏： 笔记 文章标签： cnn 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43206449/article/details/127663945
版权

卷积神经网：与影像有关

Image Classification（目标是分类）

输入:   图片   （如果图片的大小不一致，先将所有图片rescale成大小一致的）

输出：各种类别

 \widehat{y}是我们设置的分类目标  改向量的长度就是可以辨识多少种类别

 图片通过model后通过softmax输出y'   我们希望y' 与\widehat{y}之间的 cross entropy（交叉熵） 越小越好

 

如何把一张图片当作一个模型的输入呢？

对于电脑来说 一张图片是一个三维的tensor  （即维度大于二的矩阵）

这三维分别是图片的长、宽和channel的个数

一张彩色的图片是由RGB三种颜色组成

三个channel就分别代表R、G、B三种颜色

长、宽表示图片的解析度  图片总共有多少个像素点

将三维的图片拉直成一个巨大的向量（就可以作为一个输入）

向量中每一个数值代表的是某种颜色在该像素点的颜色强度

把代表图片的向量作为输入

如果是全连接的网络

输入总共有100*100*3个

假设有1000个neuron 每一个输入对每个neuron都会产生一个weight

那么就会有3*10^{7}个weight

随着参数的增加  模型的弹性和能力可以增加  但是同时会增加过拟合的风险

 为了减少参数 我们可以不使用全连接网络  根据观察图像的特性 设计其他的网络结构

一张小鸟的图片  通过模型如何得出它是一只鸟？ 如果辨识到某些重要的特征 就可以得出它是一只鸟

 

 

比如 某一个neuron 看到的是鸟嘴  有一个neuron看到了眼睛  另一个neuron看到了鸟爪  当这些重要的特征组合在一起 我们就可以判断是一只鸟

判断的时候要抓某些重要的特征 因此我们并不需要每一个neuron 都去观察一整张图片

即不需要把整张图片当作一个neuron的输入  只需要将图片的一部分当作neuron的输入即可   这样我们就可以做简化

在CNN中是这样做的

为每一个neuron 设定receptive field （感受野） 每个neuron 只用负责receptive field 的部分

 

比如对于这个蓝色的neuron 只需要将这27个数值作为输入 产生27个weight 加上一个bias 得到的输出作为下一层的neuron的输入

Receptive field的范围是自己定义的 ，每个neuron的Receptive field 是可以重叠的

并且不同的neuron可以负责相同的Receptive field

Receptive field 的大小也可以根据自己的需求定义，并且每个neuron的Receptive field

也可以是有大有小的

 

经典的Receptive field的安排方式

（1）默认所有的channel

（2）因此在表示大小时，只需要表示长和宽的范围，这个范围叫做kernel size，一般kernel size 不会很大，常用3*3

（3）同一个Receptive field一般有很多neuron负责

（4）设置stride 相当于步长 （一般设置为1或2），使得receptive field 相互重叠。

（5）当范围超出了图像的边界，要设置padding，可以补0，把超出的范围的值设为零。

也可以补上均值。

 

对于不同的图片来说，某些重要的特征出现的位置是不一样的 

 

例如 两个图片的鸟嘴的位置 一个在图片的正上方，一个在图片的中间，对于这两个不同的区域都有一组neuron 负责，每一组neuron中都有一个neuron是辨识鸟嘴的功能。那么对于不同的receptive field 辨识鸟嘴的neuron的功能是一样的，因此我们需要每个区域都弄一个辨识鸟嘴的neuron吗？

他们所做的事情都是重复的，这两个neuron的参数（weight）是一模一样的，因此我们只需要让不同的receptive field 共享参数即可。虽然共享了参数，但是不同的图片他们的输出是不一样的，因为输入不同 。

 

如何共享参数？这个是自己定义的

常见的共享参数的方法

 如图有两个 receptive field ，他们分别由64 个neuron 负责，其中相同颜色的neuron共享一组参数，这组参数被常称为filter。

总结 

 

 

全连接网络的弹性最强 功能最丰富 但是无法在特定的任务上有很好的表现

加入 receptive field 限制之后   观察的范围固定 并且减小  弹性减弱 但是参数自由

加入 参数共享之后 参数固定  弹性就更低

这样的 叫做convolutional layer  

使用到 convolutional layer的network 就叫做CNN

 

有只小狗叫蛋卷er
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络）
Holeung blog
06-13 6232
[机器学习入门] 李宏毅机器学习笔记-11（Convolutional Neural Network；卷积神经网络） PDF VIDEOWhy CNN for Image? CNN 经常作用于图像识别。 Some patterns are much smaller than the whole imageThe same patterns appear in different regi
李宏毅机器学习笔记-10 卷积神经网络（Convolutional Neural Network-RNN）
Memory
05-18 915
Convolutional Neural Network（CNN） 1 为什么用 CNN 识别图像 1.1 使用 DNN 的缺陷 当我们用一般的全连接神经网络处理图像时，可能是这样子： 第一层识别一些最基础的线条、特定方向的边界等等之类的最基本的模式。 第二层就开始基于第一层的基础识别一些复杂一些的模式。 往后的层以此类推，直至识别出一个预期中的目标。 但是我们这样直接处理的话...
卷积神经网络（CNN）——李宏毅机器学习笔记
久蔡合子
11-25 781
卷积神经网络 （1）特征提取 （2）共享参数 （3）池化
李宏毅机器学习笔记第9周_卷积神经网络（CNN）
peaunt1的博客
06-12 439
CNN
李宏毅机器学习笔记
最新发布
weixin_49119476的博客
04-29 1697
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
深度学习—卷积神经网络（CNN）全笔记，附代码
热门推荐
weixin_58176527的博客
07-03 2万+
K近邻；神经网络基础，线性函数，损失函数，前向传播； 卷积神经网络，卷积网络与传统网络的区别，卷积层，卷积层涉及参数，池化层，最大池化，特征图的变化；经典网络Alexnet，经典网络—Vgg经典网络—Resnet，感受野； 项目实战—基于CNN构建识别模型一 项目实战—基于CNN构建识别模型二 图像识别实战常用模块解读...
视频学习笔记——李宏毅机器学习——P1，2
09-12
深度学习是机器学习中的一个重要子领域，其灵感来源于人脑神经网络的工作原理。它通过构建深层神经网络，模拟大脑神经元之间的连接，以解决复杂的学习问题。深度学习在图像识别、语音识别、自然语言处理等领域取得了...
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
神经网络与深度学习（台大李宏毅课件笔记）
12-07
李宏毅台湾大学学习笔记，
卷积神经网络.pptx
12-17
对卷积神经网络基本思想的简单介绍，ppt依据b站上的李宏毅讲卷积神经网络，适用于组会或者课程汇报，配合视频学习效果更好。
《神经网络与深度学习》+李宏毅ppt
10-31
《神经网络与深度学习》是深度学习的经典入门之作，里面包含了原理和手写识别等经典实战代码；李宏毅老师对深度学习的讲解深入浅出。是一份不错的资源。
CNN学习笔记
01-20
感受野计算 感受野的定义： 卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小；通俗点说，就是图像的最终输出的每一个特征（每一个像素）到底受到原始图像哪一部分的影响。 来看判断题： 假设原始图像大小为10×10，卷积核大小为3×3，则经过一次卷积运算后输出的图像（output1）大小为8×8（10-3+1=8），经过第二次卷积运算输出的图像（output2）大小为6×6（8-3+1=6）。output2输出的每一个特征（即每一个像素）受到output1的范围影响为3×3，而output1中的这个3×3又受到原始图像影响的范围是多少呢？ 假设原始图像影
李宏毅机器学习课程笔记4：CNN、Why Deep、Semi-supervised
徐子尧的博客
04-09 8579
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第10-12课所做的笔记和自己的理解。Lecture 10: Convolutional Neural Network Why CNN for ImageCNN的参数比全连接神经网络少得多，为什么CNN只用较少的参数就可以用于处理图
2021李宏毅机器学习（4）：卷积神经网络CNN
niexinyu0026的博客
02-17 1886
2021李宏毅机器学习（4）：卷积神经网络CNN1 前言2 简化方法1：Receptive field（感受野） 1 前言 图片一般用的是三维的张量，也就是： 三维就是　长度＊高度＊通道数，在长宽里面每一个长度、宽度都包含了一个像素，像素里面包含了三个数字（RGB这三个通道的），为了能够输入进神经网络，就把这三维拉直成一个tensor： 从图片可以看出，这样的数据量其实是非常巨大的，于是我们想要简化。那么，我们是如何进行图片识别的？ 比如我们识别一个鸟，是通过它的特定部分（比如鸟嘴、爪子）识别的，因此，
李宏毅 - 卷积神经网络（CNN）
qq_43533724的博客
07-29 1281
李宏毅 - 卷积神经网络（CNN） 卷积神经网络主要用于图像分类。一张图片通过我们的卷积神经网络也就是Model计算出概率值，通过Cross entropy (交叉熵)归一化到0和1，概率最大的显示为1，其余显示为0。 那么一张图片是怎么输入到Model里面的呢？我们知道图片是一个三维的tensor(张量)，张量可以理解为超过二维的矩阵。以下图举例我们可以写成（100，100，3）的形式，我们需要把这样的图片转化成一维的形式，也就是一个巨大的向量。这个巨大的向量才可以输入到我们的Model里。 Mode
台大李宏毅--CNN
丁磊_ml的博客
04-01 2039
CNN与普通深度学习（全网络连接 ）的很大区别就是：CNN是关注图片的一小部分，一小部分的。而普通深度学习是把图像的每一个像素全部拉长，都作为输入。 一：CNN整体流程 1. CNN – Convolution CNN 的Convolution与 普通DNN （Fully Connected ）的异同 **由上面的三个图可以看见，CNN的卷积过程，其实就是 ...
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
【机器学习】李宏毅 - 06 卷积神经网络CNN
wyw970624的博客
10-21 775
卷积层；池化；共享参数；感受野

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值