【李宏毅机器学习】Convolutiona Neural Network 卷积神经网络（p17） 学习笔记

最新推荐文章于 2022-05-28 17:02:35 发布
最新推荐文章于 2022-05-28 17:02:35 发布
阅读量611 收藏 2
点赞数
分类专栏： Machine Learning 文章标签： 机器学习 李宏毅 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41894030/article/details/107506342
版权

李宏毅机器学习学习笔记汇总
课程链接

文章目录

Why CNN for image?

每一个neural代表一个最基本的分类器，使用全连接网络的话，100x100的图片，拉成向量是1001003个像素，但是图片要是30000x30000呢？这样的话，会需要很多很多的参数。。。

CNN的作用就是简化这个神经网络的结构，去掉一些用不到的weight。事实上，CNN模型比DNN还简单，把原来全连接网络中的layer里的一些参数去掉就得到CNN。
在这里插入图片描述

property1：对于整张图来说，一些局部是很小的

为什么可以像上面说的那么做呢
一个neural并不需要取观察整张图片，而是只需要观察一个小部分即可，所以，一个neural只需要连接到一个小块的区域就好，不需要连接到整张图，这样参数更少。
在这里插入图片描述

property2：相同的部分会出现在不同的图片中

下图中，由于侦测鸟嘴的事情是相同的，所以可以共用一套参数，减少用到的参数的量
在这里插入图片描述

property3：对一个图片二次抽样不会影响人对这个图片的理解

例如：去除奇数行偶数列的像素之后，图片大小变成了之前的十分之一大小，不会影响人对这个图片的理解。

所以我们可以把图片变小，用更少的参数来处理图片。
在这里插入图片描述

The whole CNN

在这里插入图片描述

三条性质及其对应的实现方法

在这里插入图片描述

CNN-Convolution

体现property1

每个filter中的值都是从训练数据中学出来的，而不是认为设计的。
在这里插入图片描述
将filter放在左上角，将image和filter做内积，并且不断按照stride步长移动，不断计算，直到移动到右下角。
在这里插入图片描述

体现property2

filter斜对角都是1，1，1，作用就是检测数据中有没有1，1，1。
不论是左上角还是右下角，只要用一个filter即可检测出来，体现property2。
在这里插入图片描述

用另外一个filter得到蓝色的矩阵，红色和蓝色的矩阵结合起来，叫做feature map，有几个filter就会有多少个image。

在这里插入图片描述

CNN - Colorful image

彩色图片，分成好几个矩阵叠加在一起，处理彩色图片的filter也得是立方体。
在这里插入图片描述

卷积的值大意味着和patten相似所以是feature

Convolution vs Fully Connected

Convolution 其实是Fully Connected layer拿掉一些weight 的结果
在这里插入图片描述

例如，下图例子有一个neutral的weight只连接到1，2，3，7，8，9，13，14，15，其他的weight都没有。而这几个weight恰好就是filter里的参数。
在这里插入图片描述

较少的参数！！！
在这里插入图片描述

局部感知+权值共享

本来在fully connected layer中，两个neural有着各自独立的weight，但是在做convolution的时候，首先把每个neural前面连接的weight减少了，切让两个neural共用同一组weight，weight的sharing
在这里插入图片描述

CNN - Max Pooling

在这里插入图片描述
保留最大的
在这里插入图片描述
在这里插入图片描述
重复多次，可以得到一个新image
这个新的image比原来的小，不断重复，，，
在这里插入图片描述

Flatten

在这里插入图片描述
拉直
在这里插入图片描述

CNN in Keras

在这里插入图片描述

这里的50要注意一下，就是25个channel分别和50个filter进行内积，然后再相加

在这里插入图片描述
在这里插入图片描述

What does CNN learn?

在这里插入图片描述

  • 每个滤波器学习出来的特征不同吧
  • 网络参数固定，去计算最优的输入图像
  • filter的参数都是学好的，然后最大化activation来找可以最大程度激活filter的输入图案
  • 参数是不变的，只有改变输入的值

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Deep Dream

CNN夸大他看到的东西
在这里插入图片描述
在这里插入图片描述

Deep Style

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

More Application: Playing Go

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Why CNN for playing Go?

在这里插入图片描述

当把CNN用在一个新的application上的时候，要思考这个application的特性是什么，由此来设计CNN的结构

More Application: speech

Spectrogram：声谱图

在时间方向上移动的话意义不大，而是在频率方向上移动才有意义。
eg：男女说你好，可能pattern是一样的，只是频率不一样。

在这里插入图片描述

More Application:Text

input：word sequence
output：积极/中性/消极

filter沿着句子中词的方向移动，相当于在sentence/时间序列上移动，而不是在embedding dimension上移动，因为每一个dimension的含义是独立的。
在这里插入图片描述

To learn more

在这里插入图片描述
在这里插入图片描述

duanyuchen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【李宏毅2020 ML/DL】P17 Convolutional Neural Network
记录学习痕迹的公众号：Piper蛋窝
07-25 1255
讲解了关于卷积神经网络的部分：主要集中在卷积神经网络的合理性。
CF-1208 C.Magic Grid
weixin_30845171的博客
09-02 150
题目 大意：构造一个n行n列的矩阵，使得每一行，每一列的异或和都相等，n是4的倍数。 先看4*4的矩阵，我们很容易构造出符合要求的矩阵，比如 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 这个矩阵每行每列的异或和都为0 对于一个n*n的矩阵，我们可以写成多个4*4的矩阵，为了保证数字不重复...
机器学习 卷积神经网络 Convolutional Neural Network(CNN)
weixin_51745630的博客
03-28 6027
CNN— 卷积神经网络 CNN专用在影像上的神经网络，目的是作影像辨识、影像分类，即通过输入的影像，输出影像中的内容。 对于CNN，有两种解释方法： 法一 如上图所示： 输入：image（假设大小固定为100x100，若非100x100的图片则需要rescale后再放入影像辨识系统中） 输出：y’（vector） 目标输出：y^ （每一个目标需要表示成one-hot vector，在向量中数值为1的维度对应所属目标，且维度长度决定现在的模型可辨识不...
Convolution Neural Network (CNN) 原理与实现
weixin_34409357的博客
07-01 96
本文结合Deep learning的一个应用，Convolution Neural Network 进行一些基本应用，參考Lecun的Document 0.1进行部分拓展，与结果展示（in python）。分为以下几部分：1. Convolution（卷积）2. Pooling（降採样过程）3. CNN结构4.  跑实验以下分别介绍。PS：本篇blog为ese机器学习短期班參考资料（20140...
卷积(convolution)最容易理解的解释
yh13572438258的博客
02-23 5万+
啰嗦开场白 读本科期间，信号与系统里面经常讲到卷积(convolution)，自动控制原理里面也会经常有提到卷积。硕士期间又学了线性系统理论与数字信号处理，里面也是各种大把大把卷积的概念。至于最近大火的深度学习，更有专门的卷积神经网络(Convolutional Neural Network, CNN)，在图像领域取得了非常好的实际效果，已经把传统的图像处理的方法快干趴下了。啰啰嗦嗦说了这么多卷积，惭愧的是，好像一直以来对卷积的物理意义并不是那么清晰。一是上学时候只是简单考试，没有仔细思考过具体前后的来龙
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
【李宏毅机器学习笔记】8、Tips for Training DNN
01-06
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
【李宏毅机器学习笔记】7、反向传播（Backpropagation）
01-06
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
卷积神经网络（convolutional neural network, CNN）
热门推荐
qq_41536160的博客
05-28 6万+
基本定义 卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。 1.卷积层（convolutional layer） 作用：特征提取 卷积层内部包含多个卷积核，组成卷积核的每个元素都
机器学习笔记~1×1 convolution layer in a neural network
zlibo丶的博客
09-04 704
在CNN或者其他深度学习网络中，总是会看到1×1卷积层，但是对这个层是如何起作用的和存在的意义不是很了解，查阅了大量的资料，现在做一些简要的总结，供交流。 如下图所示，图片来源参考4。 图中表示输入层维度为4×4×5，kernel有3个，大小为1×1，strides=1，输出层维度为4×4×3，比较输入层和输出层，两者在平面空间维度上是没有变化的，都为4×4，但从纵向深度上改变了，从5变为...
卷积核=weight
Xunuo1995的博客
03-26 712
卷积核放在神经网络里，就代表对应的权重（weight)
【李宏毅ML笔记】19 CNN
wffzxyl的博客
03-06 1267
CNN常被用于影像处理上，也可以用一般的Network来处理影像。输入为图像转换而来的pixcel，输出可能为1000个类别，每一个neuro可以看做是一个classifier，层层进一步的判断当前是否是某种线条，纹理，图像片段等等，来做识别。问题：当使用fully connected Network时，总会需要太多的参数。如100*100，彩色图像会有100*100*3个维度的图像，假设第一层h...
Convolutional Neural Network(卷积神经网络超详细解释)
ygp12345的博客
10-03 6505
Why CNN for Image? 我们可以使用fully connect神经网络去进行图像识别，但是所需要的参数太多了！！我们要使用CNN(卷积神经网络)来简化。 一个神经元不必接收整张图的特征，比如说我有一个判断鸟嘴的神经元，我只需如下图所示，将鸟嘴那一部分传给神经元。 相同的pattern在不同区域时，我这个神经元就可以使用相同的参数来学习不同位置的pattern。 将图像缩小也是减少特征值或参数的方法，如下图，subsampling后还是能分辨出是鸟。 Convolutional Neur
神经网络后处理：A Convolutional Neural Network Approach for Post-Processing in HEVC Intra Coding
shayashi的博客
01-23 3222
AR-CNN（Artifact reduction） ：只适用于JPEG压缩 四层全卷积层，没有pooling和全连接层，输入和输出是相同size。网络结构如下： g()是非线性mapping函数，在AR-CNN中是ReLU函数，即g(x)=max(0,x)g(x)=max\left ( 0,x \right )g(x)=max(0,x)。AR-CNN的配置如下图所示： 4层卷积分别实现：特征...
卷积的权重（Weight/Kernel/Filter）数据格式采用HWIO/OHWI，还是其他……
田海立@CSDN
10-26 5233
卷积的权重（Weight/Kernel/Filter）的数据格式一般不同于Tensor或Activation数据，有其特定的排布方式。但是这深入到平台（训练和/或推理）内部的机制了，一般大众的使用者不会关心，所以这部分信息很少。本文给出一些指引，实际用到时可以利用《图解NCHW与NHWC数据格式》里的分析方法再去具体理解。
卷积神经网络与caffe Convolution层及参数设置
fabulousli的博客
10-22 3万+
卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一，在图像处理领域取得了很大的成功，在国际标准的ImageNet数据集上，许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于，避免了对图像复杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。图像处理中，往往会将图像看成是一个或多个的二维向量，如M
Convolution Networks 和Deconvolution Networks
一个想要改变世界的IT slave的专栏
11-24 1万+
一.卷积的概念卷积是分析数学中的一种重要运算，英文convolution。需要注意的是，以下我们考虑都是离散情况下的卷积操作。从概念上说，卷积是线性情况的下的滤波处理，性滤波处理经常被称为“掩码与图像的卷积”[1]。具体的操作则是，卷积是两
台大-李宏毅-B站机器学习视频-课件
最新发布
01-08
台大-李宏毅-B站机器学习视频-课件 Deep Auto-encoder Unsupervised Learning

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值