神经网络与深度学习-学习笔记(2)——卷积神经网络基础

最新推荐文章于 2024-08-25 09:53:04 发布
最新推荐文章于 2024-08-25 09:53:04 发布
阅读量836 收藏 8
点赞数 8
分类专栏： 神经网络与深度学习-笔记 文章标签： 神经网络 深度学习 学习 人工智能 算法 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57610394/article/details/137509443
版权

目录

深度学习的价值和意义

全连接网络问题

深度学习平台简介

卷积神经网络基础

进化史

基本概念

特征提取

填充

步长

多通道卷积

池化

 卷积神经网络结构

BP算法基础

前向传播

反向传播

网络结构

LeNet-5

AlexNet

深度学习的价值和意义

全连接网络问题

        全连接网络链接权过多，算的慢，难收敛，同时可能进入局部极小值，也容易产生过拟合问题。

        例如：输入为1000\times1000图像，隐含层有1M个节点，则输入至隐含层间有1\times10^{12}数量级参数。
  • 解决算的慢问题：减少权值连接，每一个节点只连到上一层的少数神经元，即局部连接络。

  • 解决浅层全连接网络拟合效果不好、权值过多的问题： 信息分层处理，每一层在上层提取特征的基 础上获取进行再处理，得到更高级别的特征。

深度学习平台简介

卷积神经网络基础

进化史

基本概念

特征提取

        对于所有的下一层节点，卷积核都是一样的，也就是权值相同。

填充

        填充(Padding )： 也就是在矩阵的边界上填充一些值，以增加矩阵的大小，通常用0 或者复制边界像素来进行填充。

步长

        步长(Stride)： 如图步长为2

多通道卷积

        输入张量是三维的，卷积核也是三维的，对应位置数进行卷积，得到二维的输出张量。

池化

        在输入张量某个区域内，使用局部统计特征，如均值或最大值作为输出。解决特征过多问题。

 卷积神经网络结构

        构成 ：由多个卷积层和下采样层构成，后面可连接全连接网络
        卷积层： 𝑘 个滤波器
        下采样层 ：采用mean或max
        后面 ：连着全连接网络

BP算法基础

前向传播

        前向传播定义为：
此处忽视卷积核的上下左右转置，因为不影响最终结果。
        如果第𝑙 层是卷积+池化层，则：

反向传播

        如果当前是下采样层，下一层为卷积层，误差如何从卷积回传？
        假设为2*2 核卷积

        卷积NN的BP算法：卷积层+卷积层

因此有，
        卷积NN的BP算法：卷积层+全连接层

网络结构

LeNet-5

        C3层卷积时用到了三维卷积，但是第三个维数是这样排布的

AlexNet

        “多个卷积层+一个池化层”的结构
HIT.惊喜酱
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
《动手学深度学习——卷积神经网络、LeNet、卷积神经网络进阶》笔记
01-07
动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶 卷积神经网络基础 目录： 1、卷积神经网络的基础概念 2、卷积层和池化层 3、填充、步幅、输入通道和输出通道 4、卷积层的简洁实现 5、池化层的简洁实现 1、...
深度学习与神经网络笔记 Day2——【卷积神经网络】
m0_46939194的博客
04-08 954
卷积的离散公式为：现在对于上面卷积过程进行分析：我们用来做例子的 A 矩阵为 m×m(3×3)二维矩阵（被卷积矩阵），K 为 n×n(2×2)的二维矩阵（卷积核）。运算方式如下：1、卷积核翻转180°：2、被卷积矩阵扩展到(m+n)×(m+n)大小，将扩展部分用 0 代替，将卷积核 K 从左上角顺序地行移动，再换行，继续，直到抵达右下角。将对应元素相乘后相加：5*5矩阵3、依次类推，剔除为 0 的元素，5×5 矩阵结果为 4×4 矩阵，卷积计算结束。
CNN笔记：通俗理解卷积神经网络
热门推荐
结构之法 算法之道
07-02 82万+
2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时间抽不开。然由于公司在不断开机器学习、深度学习等相关的在线课程，耳濡目染中，总会顺带着学习学习。
深度学习笔记——pytorch实现卷积神经网络CNN
weixin_45978839的博客
01-04 2399
B站刘二大人《pytorch深度学习实践》
【学习笔记】《深度学习与神经网络》——邱锡鹏
CodeLuweir 的博客
12-22 8135
一、绪论 人工智能的一个子领域 神经网络：一种以（人工)）神经元为基本单元的模型 深度学习：一类机器学习问题，主要解决贡献度分配问题 知识结构： 路线图： 顶会： 1.1 人工智能 诞生：人工智能这个学科的诞生有着明确的标志性事件，就是1956年的达特茅斯(Dartmouth)会议。在这次会议上，“人工智能” 被提出并作为木研究领域的名称。 人工智能=计算机控制+智能行为； 人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。 ——John McCarthy ( 1927-201
深度学习基础笔记——卷积神经网络概念及其计算方式
MengYa_Dream的博客
08-15 1万+
卷积神经网络（Convolutional Neural Network，CNN） 卷积 卷积核 神经网络公式 卷积运算方式 补0（zero padding）池化（Pooling） 激活函数RelU (Rectified Linear Units) 全连接层(Fully connected layers) 标准卷积计算举例1 x 1 卷积计算举例 全连接层计算举例常见的几种卷积神经网络介绍 LeNet AlexNet VGGNet ResNet
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
亦梦亦醒乐逍遥的博客
08-16 2920
卷积神经网络
深度学习笔记2——卷积神经网络、LeNet5
baidu_41906969的博客
03-01 2661
1、卷积神经网络（ Convolutional Neural Network, CNN） 1.1 局部感受野(Local Receptive Fields) 对于一般的深度神经网络，往往会把图像的每一个像素点连接到全连接的每一个神经元中，而卷积神经网络则是把每一个隐藏节点只连接到图像的某个局部区域，从而减少参数训练的数量。例如，一张1024×720的图像，使用9×9的感受野，则只需要81个权值参数。对于一般的视觉也是如此，当观看一张图像时，更多的时候关注的是局部。 1.2 共享权值(Shared Weigh
深度学习笔记——卷积神经网络CNN进阶
weixin_45978839的博客
01-06 1009
参考视频——B站刘二大人《pytorch深度学习实践》
AI学习笔记——卷积神经网络（CNN）
02-24
本文来自简书，本文主要介绍了一个完整的卷积神经网络(CNN)，卷积的滤波器（Filter）是如何工作的呢？请参见下文。上篇文章简单地地介绍了神经网络和深度学习，在神经网络中，每一层的每个神经元都与下一层的每个...
硬件加速器中的神经网络
weixin_42605076的博客
08-19 780
硬件加速器中的神经网络指的是通过专门设计的硬件设备来加速深度神经网络（DNN）和其他机器学习模型的训练和推理过程。这些硬件加速器旨在提高计算效率、降低功耗，并减少延迟，以满足在大规模和实时应用中的高性能需求。随着人工智能（AI）的快速发展，硬件加速器已成为深度学习应用中的关键技术。
深度学习学习经验——全连接神经网络（FCNN）
qq_41065669的博客
08-22 799
全连接神经网络（FCNN）是最基础的神经网络结构，它由多个神经元组成，这些神经元按照层级顺序连接在一起。每一层的每个神经元都与前一层的每个神经元连接。接待区交流区和结果区。
深度学习--自监督学习
最新发布
GDHBFTGGG的博客
08-25 671
自监督学习是一种无需大量人工标注的数据驱动方法，在生成模型中应用广泛。自监督学习通过利用数据中的固有结构或属性创建“伪标签”，使模型在没有人工标签的情况下进行学习。这种方法既提高了模型的训练效率，又降低了对标注数据的依赖。
深度学习学习经验——长短期记忆网络（LSTM）
qq_41065669的博客
08-23 1080
长短期记忆网络（LSTM，Long Short-Term Memory）是一种特殊的循环神经网络（RNN），专为解决 RNN 中长期依赖问题而设计。
【机器学习】CNN的数学基础
鑫宝的博客
08-20 711
卷积神经网络（Convolutional Neural Network，CNN）作为深度学习中的重要模型，其强大性能背后蕴含着丰富的数学原理。本文将深入探讨CNN的数学基础，包括卷积运算、激活函数、池化操作、反向传播算法以及优化方法等核心概念。通过对这些数学基础的理解，我们可以更好地把握CNN的本质，为进一步优化和创新CNN模型奠定基础。
爆改YOLOv8 | 利用YOLOv9最新的SPPELAN模块改进SPPF
weixin_43986124的博客
08-23 304
yolov8，yolov9,yolov8涨点，提升精度
深度学习(2)-循环神经网络
qq_45378317的博客
08-21 1052
前馈神经网络中，把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元。整个网络中的信息是朝着一个方向传播的，没有反向的信息传播（和误差反向传播不是一回事），可以用一个有向无环图来表示。前馈神经网络包括全连接前馈神经网络和卷积神经网络。前馈神经网络可以看做是一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。
吴恩达深度学习课程V5.42中文笔记：掌握热门AI技能
课程共包含5堂课，深入介绍了深度学习的基础理论，包括常见的神经网络结构，如卷积神经网络(CNN)，递归神经网络(RNN)和长短时记忆网络(LSTM)。吴恩达本人以及来自斯坦福大学计算机系的助教提供了指导，确保学生能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值