卷积神经网络学习

最新推荐文章于 2024-03-17 19:29:04 发布
最新推荐文章于 2024-03-17 19:29:04 发布
阅读量925 收藏 4
点赞数 1
分类专栏： 机器学习 文章标签： cnn 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61094172/article/details/121341834
版权

胡乱写的！！！

目录

一、CNN架构

二、每层layer详解

1.Convolution

3.Max pooling

3.Flatten

三、CNN in Keras

1.语句介绍

 四、 复杂的Input时

五、What is the output?

每一个向量都有一个对应的Label

​

六、Sequence Labeling

七、Self-Attention

1.怎么产生b^1这个向量

 2.计算α

一、矩阵的角度

二、Multi-head Self-attention

一、CNN架构

在这里插入图片描述

 在这里插入图片描述

  • 第一个，要生成一个pattern，不要看整张的image，你只需要看image的一小部分。
  • 第二个，通用的pattern会出现在一张图片的不同的区域。
  • 第三个，可以做subsampling

二、每层layer详解

1.Convolution

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

 你有100个filter，你就得到100个4 * 4的image，组成feature map

3.Max pooling

在这里插入图片描述

 

在这里插入图片描述

 

在这里插入图片描述

 

在这里插入图片描述

 在这里插入图片描述

3.Flatten

在这里插入图片描述

 

在这里插入图片描述

 flatten就是feature map拉直，拉直之后就可以丢到fully connected feedforward netwwork，然后就结束了。

三、CNN in Keras

1.语句介绍

在这里插入图片描述

 因为image的长宽高各是一维，若是彩色的话就是第三维。所以要给三维的tensor

model.add(Convolution2D(25, 3, 3))

 25代表有25个filter，3 *3代表filter是一个3 *3的matrix（在二维卷积中，卷积核大小通常设置为 3×3）。

Input_shape=(28,28,1)

假设我要做手写数字辨识，input是28 *28的image，每个pixel都是单一颜色。所以input_shape是(1,28,28)。

MaxPooling2D(( 2, 2 ))

2,2表示把2*2的feature map里面的pixel拿出来，选择max value

在这里插入图片描述

 

假设我们input一个1 *28 * 28的image，你就可以写

model.add(Convolution2D( 25, 3, 3, Input_shape=(28,28,1)))

通过convplution以后得到output是25 *26 26(25个filter，通过3 *3得到26 * 26)。

然后做max pooling，2 *2一组选择 max value得到 25 *13 * 13

然后在做一次convolution，假设我在这选50个filter，每一个filter是3 *3时，那么现在的channel就是50。

13 *13的image通过3 *3的filter，就成11 *11，然后通过2 *2的Max Pooling，变成了50 *5 *5

在这里插入图片描述

 通过两次convolution，两次Max Pooling，原来是1 *28 *28变为50 *5 *5。flatten的目的就是把50 *5 *5拉直，拉直之后就成了1250维的vector，然后把1250维的vector丢到fully connected。

 四、 复杂的Input时

在这里插入图片描述

到目前为止学的Network的输入都是一个向量（比如CV还是youtube视频等的输入都可以看做一个向量），而输出可能一个数值（如类别等）

五、What is the output?

输入是一堆向量,它可以是文字,可以是语音,可以是Graph，这样输出是有三种可能的

每一个向量都有一个对应的Label

在这里插入图片描述

这种情况是说输入和输出一样数量。
当你的模型,看到输入是四个向量的时候,它就要输出四个Label,而每一个Label,它可能是一个数值,那就是Regression的问题,如果每个Label是一个Class,那就是一个Classification的问题

六、Sequence Labeling

输入跟输出数目一样多，给Sequence裡面的每一个向量,都给它一个Label

在这里插入图片描述

把每一个向量,分别输入到Fully-Connected的Network裡面。然后Fully-Connected的Network就会给我们输出,那现在看看,你要做的是Regression还是Classification,產生正确的对应的输出,就结束了

缺陷：后面这一个saw跟前面这个saw完全一模一样。既然Fully-Connected的Network输入同一个词汇,它没有理由输出不同的东西。

在这里插入图片描述

 所以我们可以给Fully-Connected的Network,一整个Window的资讯,让它可以考虑一些上下文的,跟我现在要考虑的这个向量,相邻的其他向量的资讯

在这里插入图片描述

 那有人可能会想说这个很容易，我就把Window开大一点啊,大到可以把整个Sequence盖住就结束了。但是，今天Sequence的长度是有长有短的,我们刚才有说,我们输入给我们的Model的Sequence的长度,每次可能都不一样

开一个这麼大的Window,意味著你的Fully-Connected的Network,它需要非常多的参数,那可能不只运算量很大,可能还容易Overfitting

七、Self-Attention

在这里插入图片描述

在这里插入图片描述

 Self-Attention不是只能用一次,你可以叠加很多次。所以可以把Fully-Connected的Network,跟     Self-Attention交替使用

  • Self-Attention处理整个Sequence的资讯
  • Fully-Connected的Network,专注於处理某一个位置的资讯
  • 再用Self-Attention,再把整个Sequence资讯再处理一次
  • 然后交替使用Self-Attention跟Fully-Connected

在这里插入图片描述

 这每一个b都是考虑了所有的a以后才生成出来的

1.怎么产生b^1这个向量
 

在这里插入图片描述

每一个向量跟a 1 的关联的程度,用一个数值叫α来表示

在这里插入图片描述

 这个计算attention的模组,就是拿两个向量作為输入,然后它就直接输出α那个数值,

 2.计算α

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 

 在这里插入图片描述

一、矩阵的角度

在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

 在这里插入图片描述

二、Multi-head Self-attention

在这里插入图片描述

 在这里插入图片描述

在这里插入图片描述

 在这里插入图片描述

来自新世界、
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习之卷积神经网络学习
06-28
介绍卷积神经网络的内容，并实验演示CNN
卷积神经网络学习心得
qq_45013882的博客
12-28 2623
YOLOv3学习心得 文章目录YOLOv3学习心得一、卷积神经网络1、卷积二、使用步骤1.引入库2.读入数据总结 一、卷积神经网络 1、卷积 在卷积神经网络中，“卷积”更像是一个，特征提取算子。什么是特征提取算子呢？简单来说就是，提取图片纹理、边缘等特征信息的滤波器。 如： 如上图所示，假设，猫的上眼皮部分（框出部分），这部分的数据，展开后如图中数组所示**（这里，为了叙述简便，忽略了rgb三维通道，把图像当成一个二维数组[类比灰度图片]），我们使用一个算子，来检测横向边沿**——这个算子，让第一行
一图读懂-神经网络14种池化Pooling原理（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
fulk6667g78o8的专栏
08-22 7170
一图读懂-神经网络14种池化Pooling原理（MAX，AVE，SUM，MIX，SOFT，ROI，CROW,RMAC ）
李宏毅深度学习笔记（四）——卷积神经网络（CNN）
qq_51026159的博客
07-29 613
在图像处理中，神经网络的输入就是图像上的一个个像素，输入向量的维度就等于图像的像素数量，因此如果使用一般的神经网络（FullyConnectedFeedforwardNetwork），会导致参数过多并且使得训练效率低下。于是，我们想到可以利用图像处理的一些特性得到一种更简单的神经网络，这就是卷积神经网络（CNN）。 1.图像处理的性质 （1）决定一个图片的“模式”（比如图片里是否有某个物体）可以通过图像里面的一小部分决定。比如通过查看图片中是否包含鸟嘴来判断图片中是否有鸟。 （2）相同的特征可以...
CNN例
hxc2101的博客
01-30 263
MNIST手写数据识别 https://morvanzhou.github.io/tutorials/machine-learning/torch/4-01-CNN/ https://github.com/MorvanZhou/PyTorch-Tutorial/blob/master/tutorial-contents/401_CNN.py #!/usr/bin/env python3 #...
深度学习 精选笔记（13.1）卷积神经网络-LeNet模型
最新发布
酒心★
03-17 1079
对于非常简单的手写数字图片识别任务，古老的 LeNet-5 网络已经可以 取得很好的效果，但是稍复杂一点的任务，比如彩色动物图片识别，LeNet-5 性能就会急 剧下降。
动手学深度学习之经典卷积神经网络之LeNet
Trony的博客
08-17 406
LeNet LeNet的结构如下，它的输入是一个32 * 32的image，放到一个5 * 5的卷积层中，它的通道数是6，它的输出是一个28 * 28的一个矩阵，这里有个概念叫做feature map，也就第卷积层的输出的那一坨就是feature map。接下来使用一个2*2的pooling层，这样就从28 * 28转换为了14 * 14，通道数目不变。接下来又是一个5 * 5的卷积层，这输出从14 * 14转换为了10 * 10，通道数变为16。后面再接上一个pooling层，输出为一个5 * 5，通道
tensorflow之神经网络层：AveragePooling2D、average_pooling2d、Conv2D和conv2d
热门推荐
大雄没有叮当猫的博客
09-19 1万+
微信公众号：数据挖掘与分析学习 1. tf.layers.Conv2D Class Conv2D:2D卷积层，如图像上的空间卷积 该层创建卷积核，该卷积核与层的输入卷积（实际上是交叉相关）以产生输出张量。 如果use_bias为True（并且提供了bias_initializer），则会创建偏置向量并将其添加到输出。 最后，如果激活函数不是None，它也会应用于输出。 参数： filte...
python cnn数字识别_CNN实现手写数字识别并改变参数进行分析
weixin_39695374的博客
12-11 593
1.网络层级结构概述Input layer: 输入数据为原始训练图像Conv1：6 个 5 * 5 的卷积核，步长 Stride 为 1Pooling1：卷积核 size 为 2 * 2，步长 Stride 为 2Conv2：12 个 5 * 5 的卷积核，步长 Stride 为 1Pooling2：卷积核 size 为 2 * 2，步长 Stride 为 2Output layer：输出为 10...
《机器学习》学习笔记（六）-- CNN（卷积神经网络）
DIAJEY的博客
08-15 1864
1.Why CNN? 当我们直接用一般的fully connected的feedforward network来做图像处理时，往往会需要太多的参数。 举个例子，假设是有一张100100的图片，如果将它拉成一个vector，再乘以3色域，input vector就已经有三万维了，又假设hidden layer有1000个neuron，那仅仅是第一层的hidden layer的参数就已经有300001000个了 因此，CNN做的事其实是，简化这个neural network的架构，根据自己的判断和对图像处理的理
卷积神经网络学习介绍
09-02
一篇非常好的讲解卷积神经网络的资源
地震油气储层的小样本卷积神经网络学习与预测.pdf
09-26
【地震油气储层的小样本卷积神经网络学习与预测】这篇论文主要探讨了如何利用深度学习中的卷积神经网络（CNN）技术进行地震数据的分析和油气储层预测。地震油气储层预测是石油勘探的重要环节，传统的分析方法通常...
卷积神经网络学习笔记.pdf
10-23
在学习卷积神经网络时做的笔记，希望可以给大家提供帮助。相互指正！
卷积神经网络学习笔记
11-16
这是在学习卷积神经网络时做的笔记，方便自己对卷积神经网络的理解。
day-16 CNN卷积神经网络算法之Max pooling池化操作学习
weixin_30413739的博客
07-27 498
利用CNN卷积神经网络进行训练时，进行完卷积运算，还需要接着进行Max pooling池化操作，目的是在尽量不丢失图像特征前期下，对图像进行downsampling。 首先看下max pooling的具体操作：整个图片被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出 outpu...
CNN基础知识笔记
zxmyoung的博客
10-24 1万+
1. 卷积神经网络的概念 上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。 卷积神经网络是多层感知机（MLP）的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的
卷积神经网络学习——第二部分：卷积神经网络训练的基本流程
L2000Ryan的博客
11-21 1万+
数据集引入    引入数据集的时候主要需要注意的是预处理的一个操作，在这里主要用的是ToTensor和Normalize两个函数进行归一化处理。其实也不一定需要Normalize这个函数，因为训练其实都是可以的。    但是这里需要注意一下，因为导入数据集的时候操作是固定的。所以为了保证这个操作固定，就最好是用Compose把他们固定起来。如果你在做自己的手写图像识别，那么一定要认真看一下我的注释。因为你手写的时候，导出的文件无论是png还是jpg，他们基本都是彩色图片。（是的，哪怕你看到的都是黑色，但他们
卷积神经网络
qq_37278786的博客
05-22 158
全连接神经网络对mnist数据集有着不错的表现，mnist数据集的分辨率只用28*28，是单通道的图片。但是在实际生活中图片的分辨率会很大，并且是彩色三通道图片。 实际应用时会先对原始图像进行特征提取，再把提取到的特征送入全连接神经网络，让全连接的神经网络识别出结果。 卷积过程介绍 卷积计算可认为是一种有效提取特征的方法。 一遍会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中每一个像素点。每一个步长卷积核会与输入特征出现重合区域，重合区域对应元素相乘，对应元素相乘并求和再加上
深度学习03—手写数字识别实例（Tensorflow版实验）
m0_55196097的博客
08-15 5099
（以图片中的二分类问题为例）
卷积神经网络学习思维导图
08-18
卷积神经网络（Convolutional Neural Network，CNN）学习的思维导图可以包括以下内容： 1. 卷积层（Convolutional ...这些是卷积神经网络学习的主要内容，通过思维导图可以更清晰地了解各个概念之间的关系和结构。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值