【深度学习课程笔记】（三）卷积神经网络

最新推荐文章于 2023-08-13 17:49:07 发布
最新推荐文章于 2023-08-13 17:49:07 发布
阅读量634 收藏 2
点赞数
分类专栏： 机器/深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wildand/article/details/116488054
版权

目录

传统神经网络vs卷积神经网络

损失函数  softmax  onehot

为什么需要卷积神经网络

基本组成结构

卷积

padding

特征图大小计算

depth/channel

池化

全连接

小结

卷积神经网络典型结构

AlexNet

DropOut

数据增强

ZFNET

VGG

GoolgeNet

inception 模块

ResNet

代码实战

TensorFlow-CNN

总结

 

传统神经网络vs卷积神经网络

损失函数  softmax  onehot

 

为什么需要卷积神经网络

 

基本组成结构

 

卷积

 

 

更贴合实际的例子

这个例子是3个channel ：R G B 对应右边三个矩阵

每个channel 有自己卷积核 然后有两套卷积核 W0  W1

每套卷积核有三个权重矩阵（也可以说是filter）

卷积核下面的是偏置项对应两套卷积核 b0  b1

最右边的则是计算出的两种特征图（对应的三权重矩阵卷积后相加 再加 偏置项）

 

若步长为2

 

步长为3呢

出现大小不匹配

则

padding

特征图大小计算

depth/channel

是和卷积核filter的个数保持一致的 比如上个例子每套卷积核有对应R G B 的三个卷积核filter，最终则计算出3个

 

不同卷积核关注不同东西

 

池化

 

这里的filter指多大的区域内池化

分类倾向于最大值池化

 

全连接

先做 flatten 展平，然后后一个神经元和前一个神经元每一个值都有一个权重连接。

小结

 

卷积神经网络典型结构

AlexNet

 

DropOut

一定程度克服过拟合问题  关闭部分神经元 关闭部分参数

 

数据增强

通道为3（rgb）  卷积参数量 34944    参数量为 0

经过relu 大小不改变

 

先flatten 展平   再和4096个神经元全连接

把4096个神经元映射到一个类别的大小，求损失，优化网络

 

ZFNET

 

VGG

对迁移学习有很大贡献

GoolgeNet

除了分类，没有全连接层， inception 模块

inception 模块

v2通过1*1 的卷积核来降维，减少参数量

v3 把5*5 的卷积核 裂变成 3*3 的卷积核

 

ResNet

带有主体，解决梯度消失       若 F（x）为0 则输出也为0 可以自适应调节网络层数

代码实战

TensorFlow-CNN

注意训练时  train改为true

总结

 

7TribeZ
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS231n课程笔记翻译：卷积神经网络笔记.pdf
05-18
CS231n课程笔记翻译：卷积神经网络笔记，Andrej Karpathy授课，由杜客和猴子翻译完成，堃堃和李艺颖进行校对修改
动手学深度学习之-卷积神经网络基础
01-06
卷积神经网络基础 参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/whY-8BhPmsle8wyEEyTST 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础知识的介绍，因此很适合本人这种基础较差的同学学习，建议基础较差的同学可以关注伯禹的其他课程： 数学基础：https://www.boyuai.com/elites/course/D
ElitesAI·动手学深度学习PyTorch版学习笔记-卷积神经网络基础；leNet；卷积神经网络进阶
01-20
宅家中看到Datawhale的学习号召，在大牛云集的群上找到了一个很佛系的小组，战战兢兢地开始了小白的深度学习之旅。感谢Datawhale、伯禹教育、和鲸科技，感谢课程制作者、组织者、各位助教以及其他志愿者！ 1 卷积神经网络基础 1.1 二维卷积 本小节介绍了二维卷积，主要用于图像数据（刚好是二维的数据）处理。 二维卷积通过输入二维数据和二维核数据的运算（卷积），得到一个小于输入数据的二维输出数据，但是该输出数据依然部分保存了输入数据的信息。输出的二维数据可以看作输入数据的一个缩略图，也叫特征图。对输出有影响的所有可能的输入区域叫做输出数据的感受野（感受域？） 1.2 步幅和填充 卷积
吴恩达视频文档-DeepLearning.ai深度学习课程笔记（V5.71） Coursera 深度学习教程中文笔记
05-13
这些课程专为已有一定基础（基本的编程知识，熟悉 Python、对机器学习有基本了解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业最热门的技能之一，本课程将帮你掌握深度学习。”在这 5 堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。Deep Learning Specialization 对卷积神经网络 (CNN)、递归神经网络 (RNN)、长短期记忆 (LSTM) 等深度学习常用的网络结构、工具和知识都有涉及。课程中也会有很多实操项目，帮助学生更好地应用自己学到的深度学习技术，解决真实世界问题。这些项目将涵盖医疗、自动驾驶、和自然语言处理等时髦领域，以及音乐生成等等。 课程的语言是 Python，使用的框架是 Google 开源的 TensorFlow。 第一门课 神经网络和深度学习 第二门课 改善深层神经网络：超参数调试、正 则 化 以 及 优 化 第三门课 结构化机器学习项目 第四门课 卷积神经网络 第五门课 序列模型 等等
动手学深度学习之卷积神经网络进阶（ModernCNN）
01-07
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/T5r2YnM8A4vZpxPUbCQSyW 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础知识的介绍，因此很适合本人这种基础较差的同学学习，建议基础较差的同学可以关注伯禹的其他课程： 数学基础：https://www.boyuai.com/elites/course/D91JM0bv
dealers:将输入处理为输出。 迎合输入和输出参数数量不匹配的情况-matlab开发
06-01
% 经销商 - 用于将输入分配给输出的虚拟函数% % varargout = dummyfun(varargin) % % 将输入分配给输出。 它与matlab的交易非常相似% 函数，但它适用于输入和输出数量％ 不匹配。 % ％ 例子% % 相等的输入和输出% % 为所有输入分配输出值% [a,b,c] = 交易（1,2,3） % % % 输入多于输出% % 前 2 个输入分配给输出% [a,b] = 交易（1,2,3） % % % 输出多于输入% % 前 2 个输出被分配输入值% % 剩余的输出分配给最后一个输出% [a,b,c] = 交易（1,2） % % % 用于防止使用匿名函数时出错% h = @(x,y,z)经销商(x,y,z); % [a,b] = h(x,y,z) % ％ 也可以看看% 经销商％ 交易%
CNN损失函数学习（最全）
热门推荐
weixin_42495721的博客
12-22 1万+
损失函数的学习一、损失函数的概念二、回归损失（Regression Loss）1.L1 Loss2.L2 Loss3.Smooth L1 Loss4.IoU Loss5.GIoU Loss6.DIoU Loss7.CIoU Loss8.F-EIoU Loss8.CDIoU Loss三、分类损失1.Entropy2.Cross Entropy3.K-L Divergence4.Dice Loss5.Focal Loss6.Tversky loss总结导入 一、损失函数的概念 在机器学习中，损失函数是代价函数
入门卷积神经网络(四）误差函数（损失函数）
weixin_43789781的博客
10-21 9774
误差函数（损失函数） 监督学习的神经网络需要一个函数来测度模型的输出值p和真实因变量值y之间的差异，一般这种差异被称为残差或者误差。 但一个模型完美时（虽然不存在），其误差为0.当模型存在问题时，误差不管是负值还是正值，都偏离0.误差离0越近，说明模型越好。 常用的误差函数 均方误差 这里 Y i 表示神经网络的输出，Yi’'表示监督数据，i表示数据的维度。 这种损失函数通常用在实数值连续变量的回归问题上，并且对于残差较大的情况给予更多的权重。 交叉熵损失： log表示以e为底的自然对数，Yk是神经网络
卷积神经网络的深入理解-优化目标（损失函数）篇
hjkdh的博客
01-19 5170
卷积神经网络的深入理解-优化目标（损失函数）篇优化目标-损失函数（持续补充）一、分类任务损失1、0-1损失2、KL散度 & 交叉熵损失（cross entropy loss）& softmax loss(1)信息熵(2)KL散度（相对熵）(3)交叉熵损失（cross entropy loss）那么为什么很多网络模型中使用交叉熵作损失函数呢？(4)Softmax 损失函数(Softmax loss)二、回归任务损失1、L1/L2-loss & Huber loss & smoo
卷积神经网络(CNN)介绍06-损失函数
lmx_smile的博客
12-02 8447
常见的损失函数和代价函数 分类和回归常用的损失函数如下： 公式见网页或者博客 损失函数修改策略 针对利用Loss修正存在类别不平衡问题的情况，详见本人博客《类别不平衡策略》文章的介绍。 针对利用修改Loss来训练差异性较小的样本，如人脸等。为了同一类的特征更近，不同的类的特征更远，在人脸识别领域已提出多种loss。 文章人脸的各种loss中简...
deeplearning.ai（吴恩达老师的深度学习课程笔记及资源）
05-08
第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第二门课 改善深层神经网络：超参数调试、正则化...第四门课 卷积神经网络（Convolutional Neural Networks） 第五门课 序列模型(Sequence Models)
大数据课程大作业深度学习基于卷积神经网络实现的猫狗图像分类项目源码+数据集+权重文件，附带学习笔记以及作业文档
03-20
大数据课程大作业深度学习基于卷积神经网络实现的猫狗图像分类项目源码+数据集+权重文件，附带学习笔记以及作业文档 由于数据集中图片数量太多，所以将图片数据打包存在了 cats_and_dogs.zip 里面。 代码使用 ...
卷积神经网络—激活函数与损失函数
红叶谷 wsp_1138886114的博客
09-21 1万+
LRN全称(Local Response Normalization)。 参数： norm_region： 选择：相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化； local_size：两种表示： 通道间归一化时表示求和的通道数； 通道内归一化时表示求和区间的边长；默认值为5； alpha：缩放因子（详细见后面），默认值为1； beta：...
神经网络学说的主要观点,对神经网络的简单理解
shirley67269的博客
08-10 1252
生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约1011个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。...
【机器学习之神经网络】损失函数
bahuanxiang5579的博客
09-26 259
损失函数 但是会出下分数一样的情况，如 该情况突出的问题是，w1偏重于一个像素点，而w2均衡 为了解决这一问题，加入正则化惩罚项 例如，上图的正则惩罚项w2为(1/4)^2 * 4 = 1/4 这会使得虽然分数相同但是w的损失量不同从而更好地衡量w 为了使结果得到概率值而不是分数，用softmax分类器进行归一化，即先算e...
神经网络-损失函数、反向传播与优化器
weixin_48139224的博客
08-13 448
给每一个卷积核的参数设置了一个grad（梯度），当采用反向传播的时候，每一个节点/每一个要更新的参数，他都会求出一个对应的梯度，在优化的过程中根据这个梯度对当中的参数进行一个优化，最终达到一个loss降低的目的。有了各个节点的参数的梯度，接下来就可以选用合适的优化器来对这些参数进行一个优化，以对整个loss达到一个降低的目的。不同的优化器所需要的参数有所差距，一般相似处是params（要传入的模型参数，让优化器知道模型长什么样、需要调节的参数有哪些）、lr（学习速率）把学习率降低，好像真的有好转！
卷积神经网络—目标检测回归损失函数
红叶谷 wsp_1138886114的博客
08-05 1309
import numpy as np import matplotlib.pyplot as plt # 目标函数:y=x^2 def func(x): return np.square(x) # 目标函数一阶导数:dy/dx=2*x def dfunc(x): return 2 * x def GD_momentum(x_start, df, epochs...
卷积神经网络系列之softmax，softmax loss和cross entropy的详细讲解 简单明了
weixin_42713739的博客
11-25 2010
softmax 我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上...
Java_带有可选web的开源命令行RatioMaster.zip
最新发布
05-22
Java_带有可选web的开源命令行RatioMaster
cnn卷积神经网络笔记
09-02
根据引用，这篇笔记是关于卷积神经网络（CNN）的深度学习理论详解和项目实战的学习笔记。这篇笔记主要介绍了CNN在计算机视觉和图像识别中的应用。 根据引用，在CNN中，Co代表输出通道数（也称为卷积核数量），Ci代表输入通道数，Kh代表卷积核的高度，Kw代表卷积核的宽度。这些参数可以用来定义CNN的结构。 根据引用，你提到想要使用R语言实现一维CNN，并输入一些变量进行二分类。你可以按照想要的数据进行二分类，然后使用R语言编写代码来实现CNN，并添加损失函数的曲线。 希望这些信息对你有帮助！<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [深度学习—卷积神经网络（CNN）全笔记，附代码](https://blog.csdn.net/weixin_58176527/article/details/125530000)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [深度学习——CNN卷积神经网络个人理解笔记汇总](https://blog.csdn.net/m0_59998867/article/details/123696930)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [语言实现一维CNN吗，想输入些变量实现二分类 就是有一些变量，想输入到cnn里算一下进行二分类，这个是想做...](https://download.csdn.net/download/Mrrunsen/88267034)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值