深度学习——神经网络之CNN卷积神经网络

已于 2022-03-04 23:22:12 修改
阅读量1.9k 收藏 7
点赞数 1
分类专栏： 深度学习 文章标签： sklearn 算法 分类 卷积神经网络
于 2022-03-03 01:29:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_42247418/article/details/123170779
版权

深度学习——神经网络之CNN卷积神经网络

深度学习——神经网络之CNN卷积神经网络


本篇文章开始介绍卷积神经网络，卷积神经网络分为很多种，在后面的《高阶段卷积》章节介绍，这个、里主要介绍卷积神经网络用到的基础知识。所有负责的模型都是根据简单的模型优化而来的。

1、回顾神经网络知识

1.1、BP神经网络回顾

第一个问题：为什么有了BP神经网（DNN网络中有介绍）络还要有深度学习？

  • BP神经网络不适合深层的模型，太深以后BP反向传播过程中容易造成梯度消失或者梯度暴涨，只适合浅层的
  • 算力问题，没有GPU，CUP算力不够，随着深度的加深，参数的增多，模型训练困难，时间长。

第二个问题：影响模型复杂程度的因素

  • 隐含层的层数
  • 单个隐含层的神经元个数

这两个因素都是影响模型参数的条件，后期优化模型的思路大多也是从这两个方面做得优化，层而产生新的模型。

1.2、激活函数

在这里插入图片描述

  • Sigmoid函数的缺点，从图中可以看出，Sigmoid激活函数具有饱和区域，随着值的增加，到一定程度时，函数的值趋向于1,0，这样就会造成梯度消失（为0）,模型收敛不了。
  • tanh同Sigmoid一样，也具有饱和区。
  • Relu:更多用于图像模型，后面的好多激活函数都是在这个激活函数上优化的，优化的就是他的缺点——>当值为负数（权重为负数）的时候，直接置为0了
  • Leaky ReLU：在Relu上做的改进，当值为负数的时候，加上一个0.1的斜率（乘0.1）
  • Maxout，ELU也是分段函数，对Relu做一个改进

2、卷积神经网络

第一个问题：为什么有了DNN神经网络，RNN神经网络，BP神经网络，还要CNN神经网络？

  • 对于图像得处理，如果用DNN,RNN,BP神经网络，不能捕捉图像得局部信息。
  • 图像得维度很大，输入就很大（要将图片拉平），这样如果做全连接的话，参数就会很多，下面我们看一个例子：

  • 图像维度5x5
    第一层隐含层神经元个数 9
    输入：25
    输出 ：9
    参数：25 x 9

第二个问题：卷积的作用目的

  • 卷积的目的还是作为特征的提取，做了卷积以后，如果做分类的任务，同样要加上全连接层，在进行激活，或者softmax做分类。

2.1、卷积的过程

卷积神经网络通DNN神经网络一样，也分为，输入层，输出层，和卷积层三部分。
不同的是，这里的卷积层用的是卷积核来做卷积，不再是神经元。如下图：

在这里插入图片描述

在这里，你可以把卷积核看成是一个窗口，拿着这个“窗口”去扫描图片，扫描到的区域称之为感受野，这样的操作，就保证了模型可以考虑的图像得局部特征。

卷积的输出结果：
卷积核的每一个值，与对应感受野的值相乘，之后左右的结果相加。有偏置项的加上偏置项，在做一个激活函数进行激活，作为输出结果（上图中的例子没有做激活）

那么此时，一个卷积核的大小，就是对应参数的个数。

同样是上边的例子，我们看一下利用卷积来做的参数

图像维度 5x5
输出为3x3 = 9
卷积核大小 ：3x3
参数的个数 = 9

很明显，在兼顾了局部特征的前提下，参数个数大大降低。

2、卷积的参数

2.1、Padding填充

在Tensorflow中padding有两种属性：

  • valid，表示不需要padding操作
    • 假设输入大小为n*n,卷积核大小为f *f，此时输出大小为(n-f+1);
  • same，表示输入和输出的大小相同
    • 假设padding的大小为p，此时为了保持输出和输入消息相同p =(f-1)/2，但是此时卷积核要是奇数大小。

在这里插入图片描述

2.2、Stride步长

stride是指卷积核在输入上移动时每次移动的距离，直接上图来说明。其中
按红框来移动的话stride = 1;按蓝色框来移动的话stride = 2。加入stride后，输出的计算有一些变化，假设输入大小为n*n，卷积核大小为ff， padding大小为p,stride大小为s,那么最后的输出大小为:
在这里插入图片描述
下面这个公式要熟记，有了这个公式，就可以计算应该Padding的大小，或者步长Stride的大小
在这里插入图片描述

3、卷积核通道数的计算

卷积核有三种属性，分别为，大小，个数，通道数。
卷积核的个数不一定是一个，卷积核的通道数也不一定是一个。
在这里插入图片描述

重点来了：这贯穿了整个卷积的计算和模型的优化

单个卷积核通道数 = 输入的通道数
卷积核的个数 = 输出通道数

多通道卷积计算

每个通道做单通道卷积计算，不同通道结果相加
有偏置项的加上偏置项

多卷积核输出计算：拼接

每个卷积核做单个卷积核计算，多个卷积核的运算结果片接在一起，记得是拼接
拼接就说明，有多少个卷积核，输出就有多少通道。

这三个知识点很重要，后期产生的新模型的理解离不开这三个知识。
下面这个动图网址可以很好的帮助你理解多核多通道卷积的计算：http://cs231n.github.io/assets/conv-demo/index.html

在这里插入图片描述

4、池化层

卷积网络中，除了卷积层以外，还有池化曾和归一化层。我们先来看一下池化层。池化层有最大值池化max-pooling,mean-pooling，自适应池化等。

做池化的目的是，对图片进行压缩，减少特征层大小
池化层同样具有步长和尺寸
池化层是不能改变通道数的
池化层是没有参数的

4.1、max-pooling

池化层依然是在窗口中做计算，如下图：
取窗口中数据的最大值
步长为2，大小2x2
在这里插入图片描述

4.2、mean-pooling

池化层依然是在窗口中做计算，如下图：
对窗口中的数据求平均值
步长为2，大小2x2
在这里插入图片描述

5、dropout和dropconnect、DropBlock、Disout提升模型精准率

前面我们提到在做卷积之后，要加上全连接层才可以做图像分类等任务，那么dropout一般在全连接层会用到
训练神经网络模型时，如果训练样本比较少，可以使用Dropout来一定程度减少过拟合。

重点：

dropout，等机制都只训练的时候才会用，预测的时候不能用。

1、dropout

为什么在在训练的时候才可以用，预测的时候不能用呢，因为作用机制：

Dropout:随机抑制某一神经元作用（工作），使得输出为0
抑制的是神经元的输出

在这里插入图片描述
2、dropconnect

DropConnect：训练过程中，不是随机的将隐藏节点变为0，而是将节点中每个与其相连接的输入权值以1-p的概率编程0
抑制的是神经元的输入权值。

在这里插入图片描述
3、DropBlock
DropBlock一般在卷积中用
在这里插入图片描述

DropBlock和dropout的区别在于：

  • dropout删除的是独立的随机单元（输出）
  • DropBlock是从某层的feature map中删除相邻区域

Dropout的参数

block_size:控制要删除的块的大小
y:控制删除多少个激活单元

改进：

相比于所有feature channel共享一个DropBlock，每个 feature channel独立一个DropBlock更好

4、Disout
Disout是提出的新型替代方案，是一种通过研究“特征图扰动”来增强神经网络的泛化能力的方法。
作用机制（同样对比dropout看）：

简单来说：对输出特征记性扰动（加入噪音），而不是丢弃
具体实现：根据网络中间层的Rademacher复杂度（ERC），确定给定深度神经网络的误差上届。将扰动图引入特征图，来降低网络的Rademacher复杂度，从而提升泛化能力

在这里插入图片描述

6、不同激活函数大PK

激活函数的作用是做一和非线性的映射，在反向传播的过程中，根据激活函数的导数来更新权重。

6.1、sigmoid函数

作用机制：

将所有数据映射到（0,1）之间，很好的表达了神经元的激活与未激活的状态，适合二分类。
在这里插入图片描述

缺点：
sigmoid容易饱和，到那个输入非常大或者非常小的时候，函数曲线非常平坦，如上图所示，梯度非常接近于0，
在反向传播中，我们需要用sigmoid的导数来更新权重，如果导数基本为0，会导致权重没有什么更新，造成梯度弥散（梯度消失）。

与梯度消失相对应的时梯度暴涨，即梯度很大，这个时候要进行梯度裁剪。来解决。

6.2、tanh函数

作用机制：
tanh是在sigmoid基础上进行改进，将压缩范围调整到（-1.1）。
在这里插入图片描述

缺点：
任然存在梯度弥散问题

6.3、relu函数

作用机制：
relu函数是是目前比较主流的激活函数，多用于图像模型，他的公式简单，输入小于零的时候为0，输入大于零的时候为本身。
在这里插入图片描述
缺点：
当值为负数（权重为负数）的时候，直接置为0了。

6.4、Relu6函数

作用机制：
多Relu做了一个限制，限制最大输出值为6

**应用场景（目的）：**用在移动端设备的float16（float16这种低精度不能很好的描述大的数值范围）的低精度场景。

函数：

在这里插入图片描述

6.5、Leaky ReLU & PReLU

这两个函数是分段函数
在这里插入图片描述

作用机制：
在Relu上做的改进，当值为负数的时候，加上一个为a的斜率（乘a）
a一般取值0.25
a也可以作为学习参数参与到网络的训练中去。

表达式和导数公式：
在这里插入图片描述

6.6、ELU函数

作用机制：
改进Relu函数，使得在值为负数的时候有一定的输出，而这部分的输出还具有一定的抗干扰能力
在这里插入图片描述

缺点：
还是具有梯度饱和和知乎运算问题
公式：
在这里插入图片描述

6.7、SELU函数

表达式：
在这里插入图片描述
作用机制：自我标准化
当其中参数取值为在这里插入图片描述
时，在网络权重服从正态分布的情况下，各层输出的分布会向标准正态分布靠拢。

优点:
避免梯度消失和爆照问题。让结构简单的前馈盛景网络获得甚至超越state - of - the - art的性能

6.8、Swish函数

表达式：
在这里插入图片描述

b是个常数或者可以训练的参数

在这里插入图片描述
Swish特点
无上界，有下界，平滑，非单调
Swish在深层模型上优于Relu（也不一定，还是看数据集）

还有很多，不写了，有的时候就是试验，那个好用哪个。

7、卷积后的全连接层

全连接层在整个卷积的过程中起到的是“分类器”的作用，全连接的核心操作就是矩阵向量乘积 y = Wx

在这里插入图片描述
值得注意的是，在进入全连接层之前要把卷积的结果进行拉平。

8、深度学习的归一化层

在网络的每一层输入的时候，往往要加入归一化层，先做一个归一化处理，在进入网络的下一层。归一化层也属于网络的一层：
基本流程：
卷积————>归一化————>激活————>池化

在这里插入图片描述
做归一化必不可少的是求两个值：

  • 平均值
  • 方差

那么这四种归一化的不同 就在于在哪个维度上求这两个值。根据上边的图我们举个例子

现在假设：
训练数据的形状 【B,C,W,H】
B：代表一个批次的图片数量
C：代表通道数
W,H：代表图片的维度

一个批次数据形式如下：
在这里插入图片描述

8.1、Batch Normalization(BN)批归一化

对于上面的例子，BN即对这些值做归一化：
在这里插入图片描述

具体操作：

在这里插入图片描述

在训练神经网络时，同样学习归一化中的两个参数。

在这里插入图片描述

加入BN层的优点：

  • 梯度传递更加顺畅，加速收敛
  • 不容易导致神经元饱和，防止梯度消失，保证模型收敛（梯度弥散，梯度爆炸）
  • 但是最好不要使用rlue激活函数，因为归一化以后，数据满足正太分布，在0~1之间波动，使用sigmiod，tanch更好
  • 学习率可以设置的大一点
  • 对于初始值的依赖更少

缺点：

  • 如果网络层比较深，加入BN层，可能会导致模型训练速度很慢
  • 受批次大小影响
  • BN层慎用

均值和方差的传递：

上一批次的归一化操作，得出一个用于归一化的均值和方差值
当前次进来时，先计算当前批次的均值，方差u2，再上一批次得到的均值和方差同样进行传递下来，传递的方式是以一定的比例进行传递，比如上一批次得到的是u1，那么当前批次归一化值等于 a x u1 +u2
训练模型结束后保存最后批次的归一化结果，用于新数据做归一化操作的均值和方差。

import numpy as np
arr = np.arange(24).reshape(2,3,2,2)#B,C,H,W
def BN(X,gamma,beta):
    arr = X
    eps = 1e-5
    arr_m_ln = np.mean(arr,axis=(0,2,3),keepdims=True)
    arr_v_ln = np.var(arr, axis=(0,2,3), keepdims=True)
    x_normalized = (arr - arr_m_ln) / np.sqrt(arr_v_ln + eps)  # 层归一化
    result = gamma * x_normalized + beta

8.2、Group Normalization(GN)组归一化

这个要与LN对着看，LN是所有通道，GN是分组后一个组中的通道，这里我们假设分成两组
在这里插入图片描述

用在分组卷积上
主要是针对Batch Normalization对小batchsize效果差，GN将channel方向分group，然后每个group内做归一化，算(C//G)Hw的均值，这样与batchsize无关，不受其约束。

def GN(X,gamma,beta):
    arr2 = X.reshape(2,3,1,2,2)#B,C,H,W——>B表示不同的批次，即不同的样本
    #LN层归一化
    eps = 1e-5
    arr_m_ln = np.mean(arr2,axis=(2,3,4),keepdims=True)#让不同的样本做归一化
    arr_v_ln = np.var(arr2,axis=(2,3,4),keepdims=True)#求方差
    x_normalized = (arr2 - arr_m_ln)/np.sqrt(arr_v_ln + eps)#层归一化
    result = gamma * x_normalized + beta#gamma,beta是要学习的参数
    print('我们的数组是：\n',arr2)
    print('arr_m_ln:\n',arr_m_ln)

8.3、Layer Normalization(LN)层归一化

在这里插入图片描述

层归一化，对于对于上面的BN归一化，他是对批次的大小比较敏感，由于每次计算的均值和方差都在同一个批次内，则计算的均值和方差不足以代表整个数据的分布，这也可以看做是BN归一化的一个缺点。

  • LN中同层神经元的输入具有相同的均值和方差，不同的样本具有不同的均值和方差。
  • BN中则针对不同神经元的输入计算均值和方差，同batch中拥有相同的均值和方差
  • LN用于RNN效果比较明显，但是在CNN上不如BN
    在这里插入图片描述
def LN(X,gamma,beta):

    arr = X#B,C,H,W——>B表示不同的批次，即不同的样本
    #LN层归一化
    eps = 1e-5
    arr_m_ln = np.mean(arr,axis=(1,2,3),keepdims=True)#让不同的样本做归一化
    arr_v_ln = np.var(arr,axis=(1,2,3),keepdims=True)#求方差
    x_normalized = (arr - arr_m_ln)/np.sqrt(arr_v_ln + eps)#层归一化
    result = gamma * x_normalized + beta#gamma,beta是要学习的参数
    print('我们的数组是：\n',arr)
    print('arr_m_ln:\n',arr_m_ln)

8.4、Instance Normalization(IN)归一化

图像风格华中，生成结果，主要依赖于某个图像的图像实例，因而要对H,W做归一化操作
在这里插入图片描述
在这里插入图片描述

优点：

  • 加速模型收敛
  • 保重每个图像实例之间的独立性
def IN(X,gamma,beta):
    arr3 = X  # B,C,H,W——>B表示不同的批次，即不同的样本
    # LN层归一化
    eps = 1e-5
    arr_m_ln = np.mean(arr3, axis=(2, 3), keepdims=True)  # 让不同的样本做归一化
    arr_v_ln = np.var(arr3, axis=(2, 3), keepdims=True)  # 求方差
    x_normalized = (arr3 - arr_m_ln) / np.sqrt(arr_v_ln + eps)  # 层归一化
    result = gamma * x_normalized + beta  # gamma,beta是要学习的参数
    print('我们的数组是：\n', arr3)
    print('arr_m_ln:\n', arr_m_ln)

重点在BN层的原理一节优缺点，面试常问

9、参数初始化操作

神经网络的各种层都要学习参数，开始的时候要初始化参数，太大太小都不好。

  • 参数过小：会导致神经元输入过小，经过多层之后，信号慢慢消失，参数过小还会使得sigmoid型函数丢失非线性能力（参考sigmoid曲线，在靠近0的位置，趋近于线性，）。
  • 参数过大，导致输入状态过大，同样对于sigmoid型函数，激活值变得饱和，导致梯度接近于0.

9.1、random initialization 随机初始化

随机初始化的弊端：

  • 一旦随机分布不当，会导致网络优化陷入困境（局部最优解）。从而影响模型收敛速度，甚至不收敛。

9.2、Xavier初始化

Xavier initialization可以解决上面的问题! Xavier初始化的基本思想是保持输入和输出的方差一致，这样就避免了所有输出值都趋向于0。tanh激活函数下，输出值依然保持着良好的分布，那么ReLU神经元。

9.3、其他初始化方法

在这里插入图片描述

10、学习率

学习率（Learning rate）,作为监督学习以及深度学习中的超参数：

  • 决定着目标函数能否收敛到局部的最小值
  • 决定着收敛到最小值的速度
  • 合适的学习率可以兼顾以上两点
    在机器学习中学习率我们是设定的固定超参值，实际上学习lv也是可以随着训练变化的。
    对比大小学习率的优缺点：
    在这里插入图片描述
    经过试验得到：

刚开始训练时：学习率以0.1~~0.001为宜
一定轮次后：逐渐减缓
接近训练结束：学习率的衰减应该在100倍以上

另外，除了修改激活函数，修改学习率也是一种优化模型的方法。
在这里插入图片描述

11、数据增强必不可少

对于图像模型，数据增强常用的两种方式

  • 翻转
  • 裁剪

数据增强是从数据本身提升模型效果。

12、优化器

12.1、SGD+动量

在训练的时候我们更新梯度的时候会用到优化器，这里的优化器我们用SGD+动量的形式
普通的SGD方式；

theat = theta - lr*grad

SGD+动量：在grad上加上一个记忆参数，用来传递上一次grad的信息

初始化：
v0
monentum = 0.9 一般都设置成0.9
theta0
第一次迭代：
v1 = v0+monentumgrade
theta1 = theta0 - lrv1
第二次迭代：
v2 = v2+monentumgrade
theta2 = theta1 - lrv2

是这样迭代更新的

12.1、Adam+动量

后面再更新

企鹅家的北极熊
关注
专栏目录
动手深度学习笔记（三十九）7.3. 网络中的网络（NiN）
juluwangriyue的博客
04-30 457
动手深度学习笔记（三十九）7.3. 网络中的网络（NiN）7.3. 网络中的网络（NiN）7.3.1. NiN块7.3.2. NiN模型7.3.3. 训练模型7.3.4. 小结7.3.5. 练习 7.3. 网络中的网络（NiN） LeNet、AlexNet和VGG都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。 AlexNet和VGG对LeNet的改进主要在于如何扩大和加深这两个模块。 或者，可以想象在这个过程的早期使用全连接层。然而，如果使用了全
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
深度学习_卷积神经网络CNN
谢彦的技术博客
11-03 2980
本篇我们在Keras框架之下实现卷积神经网络．Keras几乎是搭建CNN最简单的工具了，然而原理并不简单：除了基本的神经网络中用的误差函数，激活函数等概念以外，CNN还用到了卷积，池化，DropOut等方法．将在本文中逐一介绍．
【深度学习】卷积神经网络（CNN）简介
最新发布
欢迎拜读我的作品，喜欢的领域请给我留言
08-11 2072
自 20 世纪 50 年代以来，人工智能研究人员一直在寻求开发能够理解视觉数据的系统。这一努力催生了计算机视觉领域。2012 年，多伦多大学的研究人员开发出 AlexNet，这是一个人工智能模型，其性能远远优于以前的图像识别算法，这是一个重大突破。AlexNet 由 Alex Krizhevsky 创建，以85%的准确率赢得了 2012 年 ImageNet 竞赛，远远超过亚军的74%。这一成功是由 CNN 推动的，这是一种模仿人类视觉的神经网络。
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(二)
笨拙的石头的博客
05-28 4801
    前面我们说了CNN的一般层次结构及其每个层的作用等内容.     这一节将在前一节的内容的基础上, 讨论CNN中的参数初始化, CNN过拟合的处理方法, 参数学习的方法, CNN的优缺点等内容.一 CNN参数初始化...
现代卷积神经网络(AlexNet)
qq_51957239的博客
03-05 931
本章介绍的是深度卷积神经网络（AlexNet）的原理架构及其复现
深度学习-卷积神经网络(CNN)
站上巨人的肩膀
08-09 276
深度学习的卷积神经网络算法(CNN)。 简单的概念介绍和使用代码实现人脸识别。
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习——卷积神经网络
01-20
卷积神经网络（CNN）是深度学习领域的重要组成部分，尤其在图像识别和处理任务中表现卓越。CNN的主要特点是利用卷积层和池化层来提取和学习图像特征，同时通过多层非线性变换实现复杂模式的识别。 1. **卷积神经...
【FPGA教程案例56】深度学习案例3——基于FPGA的CNN卷积神经网络之池化层verilog实现
FPGA/MATLAB学习教程/源码/项目合作开发
08-22 1952
通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。目的是为了减少特征图。这里，采用的是2*2最大池化，位宽为16位，输入的i_din位宽为64位，每16位表示的是一个数，输出了其中的最大值。比如第一个i_din四个数字是0001_0004_0009_0012，其中最大值为0012.在本课程中，我们选择最大值池化层。，我们对CNN的基本原理有了初步认识。按照课程1相似的操作方式。
代码详解：最全面的卷积神经网络介绍，都在这里了
喜欢打酱油的老鸟
06-23 4418
https://www.toutiao.com/a6702972788954645003/ 2019-06-16 11:57:48 全文共8600字，预计学习时长40分钟或更长 图片来源：pexels.com 神经网络由具有权重和偏差的神经元组成。通过在训练过程中调整这些权重和偏差，以提出良好的学习模型。每个神经元接收一组输入，以某种方式处理它，然后输出一个值。如果构建一个...
【深度学习】现代卷积神经网络
littlefatguy的博客
06-06 971
现代卷积神经网络 1.深度卷积神经网络（AlexNet） 在LeNet提出后，卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然LeNet在小数据集上取得了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上，在上世纪90年代初到2012年之间的大部分时间里，神经网络往往被其他机器学习方法超越，如支持向量机（SVM）。Alex Krizhevsky、Ilya Sutskever和Geoff Hinton提出了一种新的卷积神经网
卷积神经网络
weixin_45808737的博客
07-02 348
人工神经网络网络VS卷积神经网络 人工神经网络神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题： 参数数量太多，在CIFAR-10（一个比赛数据集）中，图像只有大小为32x32x3（32宽，32高，3色通道），因此在正常神经网络的第一隐藏层中的单个完全连接的神经元将具有32 32 3 = 3072个权重。这个数量仍然是可控的，但显然这个完全连接的结构不会扩大到更大的图像。例如，一个更可观的大小的图像，例如200x200x3，会导致具有200 200 3 = 120,000重量的神经元。此外，我
NLP-信息抽取-关系抽取-2015：CRCNN、PCNN实体关系分类器【基于卷积神经网络排序进行关系识别、PCNN实现远程监督在关系提取中的应用】【数据集：SemEval-2010 Task 8】
u013250861的博客
09-07 610
《原始论文：Classifying Relations by Ranking with Convolutional Neural Networks 》 《原始论文：Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks》
卷积神经网络CNN
sunghosts的专栏
05-08 330
卷积 卷积这个概念最先在数学中学过，先看看下图卷积神经网络的计算过程。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-skNNAJmP-1620444467507)(D:\BLOG\图片\2109486090.gif)] 上图卷积的计算跟数学中的卷积是不一样的。但在深度学习中我们还是称为卷积 CNN的基本结构 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YWImpoko-1620444467510)(D:\BLOG\图片\1042406-20
卷积神经网络超详细介绍
weixin_43977748的博客
06-04 1424
卷积神经网络超详细介绍 转载https://blog.csdn.net/jiaoyangwm/article/details/80011656 link 文章目录 1、卷积神经网络的概念2、 发展过程3、如何利用CNN实现图像识别的任务4、CNN的特征5、CNN的求解6、卷积
深入理解卷积神经网络——从经典到最新技术
程序员光剑
08-19 1009
作者：禅与计算机程序设计艺术 1.简介 卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，它能够在图像、语音或文本等领域中实现高效地学习、分类和识别任务。它的特点是由卷积层和池化层组成，并采用ReLU激活函数作为最后的非线性映射，通过丰富的超参数设置，可
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

企鹅家的北极熊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值