卷积神经网络学习

最新推荐文章于 2024-03-17 19:29:04 发布
最新推荐文章于 2024-03-17 19:29:04 发布
阅读量921 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： cnn 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61094172/article/details/121341834
版权

胡乱写的！！！

目录

一、CNN架构

二、每层layer详解

1.Convolution

3.Max pooling

3.Flatten

三、CNN in Keras

1.语句介绍

 四、 复杂的Input时

五、What is the output?

每一个向量都有一个对应的Label

​

六、Sequence Labeling

七、Self-Attention

1.怎么产生b^1这个向量

 2.计算α

一、矩阵的角度

二、Multi-head Self-attention

一、CNN架构

在这里插入图片描述

 在这里插入图片描述

  • 第一个，要生成一个pattern，不要看整张的image，你只需要看image的一小部分。
  • 第二个，通用的pattern会出现在一张图片的不同的区域。
  • 第三个，可以做subsampling

二、每层layer详解

1.Convolution

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 你有100个filter，你就得到100个4 * 4的image，组成feature map

3.Max pooling

在这里插入图片描述

 

在这里插入图片描述

 

在这里插入图片描述

 

在这里插入图片描述

 在这里插入图片描述

3.Flatten

在这里插入图片描述

 

在这里插入图片描述

 flatten就是feature map拉直，拉直之后就可以丢到fully connected feedforward netwwork，然后就结束了。

三、CNN in Keras

1.语句介绍

在这里插入图片描述

 因为image的长宽高各是一维，若是彩色的话就是第三维。所以要给三维的tensor

model.add(Convolution2D(25, 3, 3))

 25代表有25个filter，3 *3代表filter是一个3 *3的matrix（在二维卷积中，卷积核大小通常设置为 3×3）。

Input_shape=(28,28,1)

假设我要做手写数字辨识，input是28 *28的image，每个pixel都是单一颜色。所以input_shape是(1,28,28)。

MaxPooling2D(( 2, 2 ))

2,2表示把2*2的feature map里面的pixel拿出来，选择max value

在这里插入图片描述

 

假设我们input一个1 *28 * 28的image，你就可以写

model.add(Convolution2D( 25, 3, 3, Input_shape=(28,28,1)))

通过convplution以后得到output是25 *26 26(25个filter，通过3 *3得到26 * 26)。

然后做max pooling，2 *2一组选择 max value得到 25 *13 * 13

然后在做一次convolution，假设我在这选50个filter，每一个filter是3 *3时，那么现在的channel就是50。

13 *13的image通过3 *3的filter，就成11 *11，然后通过2 *2的Max Pooling，变成了50 *5 *5

在这里插入图片描述

 通过两次convolution，两次Max Pooling，原来是1 *28 *28变为50 *5 *5。flatten的目的就是把50 *5 *5拉直，拉直之后就成了1250维的vector，然后把1250维的vector丢到fully connected。

 四、 复杂的Input时

在这里插入图片描述

到目前为止学的Network的输入都是一个向量（比如CV还是youtube视频等的输入都可以看做一个向量），而输出可能一个数值（如类别等）

五、What is the output?

输入是一堆向量,它可以是文字,可以是语音,可以是Graph，这样输出是有三种可能的

每一个向量都有一个对应的Label

在这里插入图片描述

这种情况是说输入和输出一样数量。
当你的模型,看到输入是四个向量的时候,它就要输出四个Label,而每一个Label,它可能是一个数值,那就是Regression的问题,如果每个Label是一个Class,那就是一个Classification的问题

六、Sequence Labeling

输入跟输出数目一样多，给Sequence裡面的每一个向量,都给它一个Label

在这里插入图片描述

把每一个向量,分别输入到Fully-Connected的Network裡面。然后Fully-Connected的Network就会给我们输出,那现在看看,你要做的是Regression还是Classification,產生正确的对应的输出,就结束了

缺陷：后面这一个saw跟前面这个saw完全一模一样。既然Fully-Connected的Network输入同一个词汇,它没有理由输出不同的东西。

在这里插入图片描述

 所以我们可以给Fully-Connected的Network,一整个Window的资讯,让它可以考虑一些上下文的,跟我现在要考虑的这个向量,相邻的其他向量的资讯

在这里插入图片描述

 那有人可能会想说这个很容易，我就把Window开大一点啊,大到可以把整个Sequence盖住就结束了。但是，今天Sequence的长度是有长有短的,我们刚才有说,我们输入给我们的Model的Sequence的长度,每次可能都不一样

开一个这麼大的Window,意味著你的Fully-Connected的Network,它需要非常多的参数,那可能不只运算量很大,可能还容易Overfitting

七、Self-Attention

在这里插入图片描述

在这里插入图片描述

 Self-Attention不是只能用一次,你可以叠加很多次。所以可以把Fully-Connected的Network,跟     Self-Attention交替使用

  • Self-Attention处理整个Sequence的资讯
  • Fully-Connected的Network,专注於处理某一个位置的资讯
  • 再用Self-Attention,再把整个Sequence资讯再处理一次
  • 然后交替使用Self-Attention跟Fully-Connected

在这里插入图片描述

 这每一个b都是考虑了所有的a以后才生成出来的

1.怎么产生b^1这个向量
 

在这里插入图片描述

每一个向量跟a 1 的关联的程度,用一个数值叫α来表示

在这里插入图片描述

 这个计算attention的模组,就是拿两个向量作為输入,然后它就直接输出α那个数值,

 2.计算α

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 

 在这里插入图片描述

一、矩阵的角度

在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

二、Multi-head Self-attention

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

来自新世界、
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习之卷积神经网络学习
06-28
介绍卷积神经网络的内容，并实验演示CNN
卷积神经网络学习心得
qq_45013882的博客
12-28 2608
YOLOv3学习心得 文章目录YOLOv3学习心得一、卷积神经网络1、卷积二、使用步骤1.引入库2.读入数据总结 一、卷积神经网络 1、卷积 在卷积神经网络中，“卷积”更像是一个，特征提取算子。什么是特征提取算子呢？简单来说就是，提取图片纹理、边缘等特征信息的滤波器。 如： 如上图所示，假设，猫的上眼皮部分（框出部分），这部分的数据，展开后如图中数组所示**（这里，为了叙述简便，忽略了rgb三维通道，把图像当成一个二维数组[类比灰度图片]），我们使用一个算子，来检测横向边沿**——这个算子，让第一行
深度学习 精选笔记（13.1）卷积神经网络-LeNet模型
最新发布
酒心★
03-17 1075
对于非常简单的手写数字图片识别任务，古老的 LeNet-5 网络已经可以 取得很好的效果，但是稍复杂一点的任务，比如彩色动物图片识别，LeNet-5 性能就会急 剧下降。
一图读懂-神经网络14种池化Pooling原理（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
fulk6667g78o8的专栏
08-22 7098
一图读懂-神经网络14种池化Pooling原理（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
李宏毅深度学习笔记（四）——卷积神经网络（CNN）
qq_51026159的博客
07-29 613
在图像处理中，神经网络的输入就是图像上的一个个像素，输入向量的维度就等于图像的像素数量，因此如果使用一般的神经网络（FullyConnectedFeedforwardNetwork），会导致参数过多并且使得训练效率低下。于是，我们想到可以利用图像处理的一些特性得到一种更简单的神经网络，这就是卷积神经网络（CNN）。 1.图像处理的性质 （1）决定一个图片的“模式”（比如图片里是否有某个物体）可以通过图像里面的一小部分决定。比如通过查看图片中是否包含鸟嘴来判断图片中是否有鸟。 （2）相同的特征可以...
CNN例
hxc2101的博客
01-30 256
MNIST手写数据识别 https://morvanzhou.github.io/tutorials/machine-learning/torch/4-01-CNN/ https://github.com/MorvanZhou/PyTorch-Tutorial/blob/master/tutorial-contents/401_CNN.py #!/usr/bin/env python3 #...
动手学深度学习之经典卷积神经网络之LeNet
Trony的博客
08-17 402
LeNet LeNet的结构如下，它的输入是一个32 * 32的image，放到一个5 * 5的卷积层中，它的通道数是6，它的输出是一个28 * 28的一个矩阵，这里有个概念叫做feature map，也就第卷积层的输出的那一坨就是feature map。接下来使用一个2*2的pooling层，这样就从28 * 28转换为了14 * 14，通道数目不变。接下来又是一个5 * 5的卷积层，这输出从14 * 14转换为了10 * 10，通道数变为16。后面再接上一个pooling层，输出为一个5 * 5，通道
tensorflow之神经网络层：AveragePooling2D、average_pooling2d、Conv2D和conv2d
热门推荐
大雄没有叮当猫的博客
09-19 1万+
微信公众号：数据挖掘与分析学习 1. tf.layers.Conv2D Class Conv2D:2D卷积层，如图像上的空间卷积 该层创建卷积核，该卷积核与层的输入卷积（实际上是交叉相关）以产生输出张量。 如果use_bias为True（并且提供了bias_initializer），则会创建偏置向量并将其添加到输出。 最后，如果激活函数不是None，它也会应用于输出。 参数： filte...
python cnn数字识别_CNN实现手写数字识别并改变参数进行分析
weixin_39695374的博客
12-11 589
1.网络层级结构概述Input layer: 输入数据为原始训练图像Conv1：6 个 5 * 5 的卷积核，步长 Stride 为 1Pooling1：卷积核 size 为 2 * 2，步长 Stride 为 2Conv2：12 个 5 * 5 的卷积核，步长 Stride 为 1Pooling2：卷积核 size 为 2 * 2，步长 Stride 为 2Output layer：输出为 10...
《机器学习》学习笔记（六）-- CNN（卷积神经网络）
DIAJEY的博客
08-15 1861
1.Why CNN? 当我们直接用一般的fully connected的feedforward network来做图像处理时，往往会需要太多的参数。 举个例子，假设是有一张100100的图片，如果将它拉成一个vector，再乘以3色域，input vector就已经有三万维了，又假设hidden layer有1000个neuron，那仅仅是第一层的hidden layer的参数就已经有300001000个了 因此，CNN做的事其实是，简化这个neural network的架构，根据自己的判断和对图像处理的理
卷积神经网络学习介绍
09-02
一篇非常好的讲解卷积神经网络的资源
卷积神经网络学习笔记.pdf
10-23
在学习卷积神经网络时做的笔记，希望可以给大家提供帮助。相互指正！
卷积神经网络学习笔记
11-16
这是在学习卷积神经网络时做的笔记，方便自己对卷积神经网络的理解。
地震油气储层的小样本卷积神经网络学习与预测.pdf
09-26
地震油气储层的小样本卷积神经网络学习与预测.pdf
结合遗传算法的优化卷积神经网络学习方法.pdf
09-26
"结合遗传算法的优化卷积神经网络学习方法" 本文提出了一种结合遗传算法的优化卷积神经网络学习方法，旨在解决经典卷积神经网络学习方法中初始权重设置对学习性能的影响问题。该方法采用遗传算法生成多组初始权重，...
day-16 CNN卷积神经网络算法之Max pooling池化操作学习
weixin_30413739的博客
07-27 498
利用CNN卷积神经网络进行训练时，进行完卷积运算，还需要接着进行Max pooling池化操作，目的是在尽量不丢失图像特征前期下，对图像进行downsampling。 首先看下max pooling的具体操作：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 outpu...
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
卷积神经网络学习——第二部分：卷积神经网络训练的基本流程
L2000Ryan的博客
11-21 1万+
数据集引入    引入数据集的时候主要需要注意的是预处理的一个操作，在这里主要用的是ToTensor和Normalize两个函数进行归一化处理。其实也不一定需要Normalize这个函数，因为训练其实都是可以的。    但是这里需要注意一下，因为导入数据集的时候操作是固定的。所以为了保证这个操作固定，就最好是用Compose把他们固定起来。如果你在做自己的手写图像识别，那么一定要认真看一下我的注释。因为你手写的时候，导出的文件无论是png还是jpg，他们基本都是彩色图片。（是的，哪怕你看到的都是黑色，但他们
卷积神经网络学习思维导图
08-18
卷积神经网络（Convolutional Neural Network，CNN）学习的思维导图可以包括以下内容： 1. 卷积层（Convolutional ...这些是卷积神经网络学习的主要内容，通过思维导图可以更清晰地了解各个概念之间的关系和结构。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值