【学习笔记】【深度学习】卷积神经网络

最新推荐文章于 2022-09-16 16:16:08 发布
最新推荐文章于 2022-09-16 16:16:08 发布
阅读量180 收藏 1
点赞数
分类专栏： 深度学习 CNN 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42853410/article/details/110222156
版权
深度学习 同时被 3 个专栏收录
8 篇文章 6 订阅
订阅专栏
网络
4 篇文章 0 订阅
订阅专栏
CNN
1 篇文章 0 订阅
订阅专栏

视频笔记，视频链接地址：https://www.bilibili.com/video/BV1b7411T7DA

卷积神经网络

包含了卷积层的都可以认为是卷积神经网络
应用：图像分类、图像检索、目标检测、图像分割、无人驾驶
GPU比CPU速度快很多，大概在20倍

全连接层

将一个特征矩阵展开成行向量或列向量，然后进行运算
one-hot编码是常用的对标签编码的一种方式

许多神经元全连接得来的在这里插入图片描述
x1x2x3是3个激励，w1w2w3是3个权重，相乘求和再加激励函数，再通过偏置，得到一个输出

BP神经网络，每列之间各元素全连接
网络的正向传播的输出值和期望的输出值相比，得到一个误差值
通过计算每一个节点的偏导数，就能得到每个节点的误差梯度
在这里插入图片描述

卷积层

CNN中独特的网络结构，卷积就是一个滑动窗口，在特征图上相乘相加进行计算
卷积核的深度和输入特征层的深度相同
【比如输入特征层是3维的，卷积核就是3维的】
输出特征矩阵的深度和卷积核个数相同
在这里插入图片描述

不建议刚开始就使用很大的学习率去学习，会导致很多神经元失活

池化层

maxpool——找最大值、avgpool——找平均值
目的：对特征图进行稀疏处理，减少数据运算量

特点：
在这里插入图片描述
池化核poolsize和步距stride大小是相同的

误差的计算

在这里插入图片描述
在这里插入图片描述
瞬时梯度gradient，并不一定是全局最优的方向

在这里插入图片描述
当使用分批次求解时，梯度并不是全局最优的梯度下降的方向，收敛速度比较慢
使用优化器去加快收敛速度
在这里插入图片描述
在这里插入图片描述
SGD有一定的局限性，针对可能陷入局部最优解的问题，有以下优化方案
在这里插入图片描述
Adam常用，还有SGD+momoentum，但是实际可以多尝试对比

小欧尼思密达
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络（CNN）介绍
one_super_doer的博客
05-13 563
本文是B站李宏毅老师机器学习学习笔记 一个网络结构想要看图片中有没有出现某一个图案，不需要看整张图片，只需要看图片的一小部分就可以决定。 CNN的整体架构 在Convolution中有很多Filter，每一个Filter都是一个矩阵，矩阵的大小是自己设计出来的，数组里面的数值都是学出来的。 Convolution（卷积） 假设现在有一个6x6像素的图片，Filter的大小是3x3。 先将右上角的Filter放在6x6矩阵的左上角，然后对应元素相乘得3，然后向右移动，移动的大小由.
浅析 one-hot 编码与神经网络分类模型
程序猿视角
03-16 4430
分析 one-hot 编码如何简化了神经网络模型复杂度。
深度学习——ResNet18 / 34
热门推荐
Dunkle.T的博客
04-06 2万+
ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。 ResNet34层模型的结构简图： ResNet网络中的亮点： 超深的网络结构（突破1000层） 提出residual模块（残差结构） 使用Batch Normalization加速训练（丢弃dropout） 在ResNet网络提出之前，传统的卷积神经网络都是通过将一系列卷积层与下采样层进行堆叠得到的。但是当堆叠到一定网络深度时，就会出现两个问题
卷积神经网络基础
qq_45825952的博客
09-16 651
随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。来源于哔哩哔哩博主“霹雳吧啦Wz”，博主学习作为笔记记录，欢迎大家一起讨论学习交流。
卷积神经网络（CNN）
qq_45649076的博客
09-04 380
1.1 卷积神经网络基础 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 卷积神经网络（CNN）@TOC 前言 卷积神经网络主要用于图像处理 一、卷积神经网络是什么？ 包含卷积层的神经网络都叫做卷积神经网络 Convolutions：卷积层 Subsampling:下采样层（池化层） Full connection:全连接层 二、卷积神经网络可以干什么 1.图片...
深度学习卷积神经网络笔记
08-30
深度学习卷积神经网络笔记 深度学习卷积神经网络是神经网络的一大应用，矩阵运算神经网络的传播都是形如 Y=WX+b 的矩阵运算。为了给矩阵运算加入非线性，需要在隐藏层中加入激活层；输出层结果需要经过 Softmax 层...
卷积神经网络 深度学习笔记1
06-19
卷积神经网络深度学习笔记1 卷积神经网络（Convolutional Neural Networks，CNN）是一种深度学习算法，主要应用于图像识别和计算机视觉任务。与传统的多层感知机相比，卷积神经网络更好地利用了图像的空间结构信息...
CNN笔记：通俗理解卷积神经网络
最新发布
01-08
卷积神经网络（CNN）是一种深度学习算法，能够模拟人脑对图像的识别和处理能力。下面是对CNN的通俗理解笔记： 神经元 神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性...
卷积神经网络CNN学习笔记 pdf
11-07
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！
吴恩达神经网络和深度学习笔记
01-09
课程可能涵盖卷积神经网络（CNN）在图像处理中的应用，循环神经网络（RNN）在序列数据上的处理，以及后来引入的长短期记忆网络（LSTM）解决RNN的梯度消失问题。 三、优化算法 在训练神经网络时，优化算法的选择对...
[TensorFlow学习笔记3]构建简单的卷积神经网路&one-hot编码
qq_17506541的博客
04-06 974
# -*- coding: UTF-8 -*- #!/usr/bin/python #搭建一个简易的卷积神经网络，其结构为： # 输入->卷积->maxpooling->卷积->maxpooling->FCN->softMax #用Minist训练并预测 #从网上download到mnist相关的数据以及处理函数 import input_data mnist = input_data.rea
神经网路中one-hot有什么作用？为什么要使用to_categorical？【原创】
Monster_H7的博客
11-27 2563
考虑多类情况。非onehot，标签是类似0 1 2 3...n这样。 而onehot标签则是顾名思义，一个长度为n的数组，只有一个元素是1.0，其他元素是0.0。 例如在n为4的情况下，标签2对应的onehot标签就是 0.0 0.0 1.0 0.0 keras.utils.to_categorical这个方法，源码中，它是这样写的： Converts a class vector (int...
一位深度学习小萌新的学渣笔记(一）神经网络原理理解+pytorch框架理解
IntMain45的博客
08-22 1993
软工大一学生，9月升大二，在暑假期间申报项目，7月份开始学习 学习的项目关于到神经网络和注意力机制 自学python 首先通过廖雪峰老师的网站自学了python 简单了解神经网络 学习所需知识 配置开发环境 Anaconda3 python3.7&3.8 pycharm 2020.2版本 pytorch 1.6 下载pytorch：可以通过先下载anaconda，在此环境下进行下载pytorch，使用清华镜像源，利用Re:从零开始的Pytorch官方入门新手教程！！进行大概的下载学习，后来发现
深度学习基础之卷积神经网络
我房间
07-02 2023
摘要 受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力，在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。这听起来像是一个奇怪的生物学和数学的结合，但是这些网络已经成为计算机视觉领域最具影响力的创新之一。2012年是神奇网络成长的第一年，Alex Krizhevsky用它们赢得了当年的ImageNet竞赛（基本上.
一维卷积神经网络_人人都能看得懂的卷积神经网络——入门篇
weixin_39846664的博客
11-25 8986
点击蓝字关注我们近年来，卷积神经网络热度很高，在短时间内，这类网络成为了一种颠覆性技术，打破了从文本、视频到语音多个领域的大量最先进的算法，远远超出其最初在图像处理的应用范围。卷积神经网络的一个例子在客流预测、信号识别等时，深度学习等作为新兴的方法为我们提供了更多的选择，在无需解释参数意义时，往往能提供更精确的预测结果。因此，笔者将完成对卷积神经网络原理及使用的介绍，在文中将避免复杂的数...
【个人总结】用深度学习进行信号的特征提取和分类
weixin_42853410的博客
11-12 1万+
项目和资料汇总参考项目汇总kaggle项目天池项目深度学习学习资料汇总机器学习总流程sklearn细节问题信号处理信号特征及特征提取方法 参考项目汇总 kaggle项目 【VSB 电源线故障检测】CNN + LSTM用于信号分类： https://www.kaggle.com/afajohn/cnn-lstm-for-signal-classification-lb-0-513/comments 【泰坦尼克之灾】预测能否生还https://www.kesci.com/mw/project/5bfe39b3
【个人总结】基于深度学习的语音分离代码及论文
weixin_42853410的博客
06-10 3792
个人总结基于深度学习的语音分离代码及论文
【个人总结】用深度学习进行信号的特征提取和分类（二）
weixin_42853410的博客
06-13 2897
细节 b站霹雳-csdn 深度学习在图像处理中的应用 b站霹雳-github 深度学习在图像处理中的应用教程 IQ信号 . gnu radio生成信号（代码4年前） b站霹雳视频课程文字版总结 Transformer详解 1D-CNN和2D-CNN 知乎回答 简书回答 调制识别举例-代码实现: RML2016.10a Dataset + VT-CNN2 Mod-Rec Network MATLAB信号处理之信号的采样 项目 【github项目】使用深度卷积
【学习笔记】【深度学习】ResNet残差网络
weixin_42853410的博客
11-27 2295
笔记参考视频【6.1 ResNet网络结构，BN以及迁移学习详解】，地址如下： https://www.bilibili.com/video/BV1T7411T7wa/?spm_id_from=333.788.videocard.0 举例：34层网络中，第一层卷积层，然后池化层，有链接线的就是残差结构，最后通过一个平均池化下采样操作，再通过一个全连接层（输出层），基本结构就是堆叠残差结构。 网络中的亮点： 超深的网络结构（突破1000层） 提出residual模块 使用Batch Normalizatio

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值