DAY8_池化

最新推荐文章于 2024-09-13 17:56:14 发布
最新推荐文章于 2024-09-13 17:56:14 发布
阅读量1.3k 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LXY_CHINA/article/details/121344625
版权

池化

  • 在经过卷积层得到的feature map通常维度比较大，如果直接输入到下一层卷积或者全连接层将会面临巨大的运算量，通过池化层就可以整合特征，减小feature map的维度。
  • 池化函数会对pixel及其周围的矩形区域进行总体特征的统计，然后将得到的数值作为这一位置新的特征值

池化的作用

  1. 减小feature map的维度（减少参数及运算量）
  2. 保留特征
  3. 防止过拟合，提高泛化能力
  4. invariant
Invariant

平移不变性、旋转不变性、尺度不变性：我们在feature map中判断一个特征时，并不会关心该特征在feature map中的位置、旋转的角度或者该特征的尺寸。例如我们要识别一个人，无论这个人在图片中的哪个位置、是站着还是躺着、在整个图片中占了多大比例，我们都能一眼看出来这是一个人。而池化层就是进行的上述操作，能够帮助输入地表示近似不变。

常见的池化及其反向传播

最大池化

  • 将当前位置及指定邻近矩形区域内的最大值作为该位置的输出
  • 在反向传播中会将下层的误差值传递给上层的对应区域内的最大值

平均池化

  • 将当前位置及指定临近矩形区域内所有数值的平均值作为该位置的输出
  • 在反向传播中会将下层的误差值平均地传递给上层对应区域内所有的位置
XY-CHINA
关注
专栏目录
Day18_Netty
weixin_45014721的博客
08-25 904
Channel代表了一个网络连接，可以是客户端到服务器的连接，也可以是服务器之间的连接。每个Channel都由一个EventLoop负责处理，而一个EventLoop可以管理多个Channel。Channel中可以执行I/O操作，如读取、写入、连接和绑定等。是一个由一系列组成的处理链。如进行数据编解码、业务逻辑处理等。将这些串联起来，形成一个处理链。每个Channel都有一个关联的，用于处理入站和出站的数据。编解码器（Codec）是负责将数据在不同表示形式之间进行转换的组件。
Netty_Day3_netty入门-bytebuf是否池化和内存模式
weixin_43899452的博客
02-23 285
ByteBuf通过ByteBufAllocator选择allocator并调用对应的buffer()方法来创建的，默认使用直接内存作为ByteBuf，容量为256个字节，可以指定初始容量的大小 当ByteBuf的容量无法容纳所有数据时，ByteBuf会进行扩容操作 如果在handler中创建ByteBuf，建议使用ChannelHandlerContext ctx.alloc().buffer()来创建 直接内存与堆内存 通过该方法创建的ByteBuf，使用的是基于直接内存的ByteBuf ByteBu
Day8_进程池,线程池和协程
Mark_812的博客
06-03 181
Day8_进程池,线程池和协程 线程及进程的梳理 创建线程的三种方式: 创建Thread对象 -> target /args -> start( ) 继承Thread类 -> 重写run()方法 -> start( ) 使用线程池(最佳选择) -> 减少频繁创建和释放线程造成的系统开销 线程和进程的优缺点 线程间的通信非常简单,可以通过共享内存来实现 进程间的通信比较麻烦,因为进程间的内存是相互隔离,需要使用管道,套接字等方式来通信 多进程 -&gt
Day06_操作系统篇
weixin_45014721的博客
08-22 1393
操作系统本质上是一个运行在计算机上的软件程序 ，用于管理计算机硬件和软件资源。举例：运行在你电脑上的所有应用程序都通过操作系统来调用系统内存以及磁盘等等硬件。操作系统的内核（Kernel）是操作系统的核心部分，它负责系统的内存管理，硬件设备的管理，文件系统的管理以及应用程序的管理。内核是连接应用程序和硬件的桥梁，决定着系统的性能和稳定性。
Day18_Java(8,17)_线程
qq_46546904的博客
08-23 112
Day18_Java_线程 进程:程序在计算机上进行资源调度和分配的最小单元 线程:一个进程启动至少一条线程,该线程叫做主线程,线程是程序内部进行资源调度的最小单元 多线程: 三元素: CPU 代码:线程执行体,主线程之外的线程需要做什么事情 数据: 学习多线程的原因: 1.解决一些耗时操作 2.解决一些业务逻辑的并发操作 Java中的多线程 多线程是编码层面的多线程 java.lang.Thread java开启一个线程就是创建了一个Thread对象 Java程序中,main方法就是主线程 创建多线程的两
Day02_JUC面试题(尚硅谷)
weixin_45014721的博客
08-19 2126
1.什么是指令重排？指令重排：在实际运行时，代码指令可能并不是严格按照代码语句顺序执行的。大多数现代微处理器都会采用将指令乱序执行，在条件允许的情况下，直接运行当前有能力立即执行的后续指令，避开获取下一条指令所需数据时造成的等待。通过乱序执行的技术，处理器可以大大提高执行效率。而这就是指令重排。int x=1;①int y=2;②x=x+5;③y=x*x;④//我们期望的执行顺序是①②③④，但可能执行的顺序会变成②①③④等//可不可能是 ④①②③？
Java学习 day43_connectionPool&DBUtils
weixin_43385930的博客
08-05 308
数据库连接池 1. 数据库连接池是什么 线程池：其实就是一个容器（池子）放了很多线程。因为我们每一次在使用线程的时候，都需要自己去创建一个线程，然后使用完了以后就把这个线程销毁了，这种做法明显是比较浪费资源的，而且效率也不高，所以我们利用这种池化的思想，把线程维护在一个线程池中，当我们需要使用线程的时候我们从线程池里面获取一个线程，然后执行任务，这个线程使用完了之后不会去销毁，而是放到线程池中。 我们的数据库连接池也是一样的，在一个数据库连接池中，维护很多个数据库连接（具体来说就是Connection），当
week09_day06_数据库连接池
shihao的博客
06-06 242
··················································································································································································································· ...
Day4_深度学习常见的激活函数选择
qq_45912513的博客
08-11 1550
激活函数
Day02_JUC面试题(尚硅谷)精简版
weixin_45014721的博客
09-14 540
1.什么是指令重排？指令重排：在实际运行时，代码指令可能并不是严格按照代码语句顺序执行的。大多数现代微处理器都会采用将指令乱序执行，在条件允许的情况下，直接运行当前有能力立即执行的后续指令，避开获取下一条指令所需数据时造成的等待。通过乱序执行的技术，处理器可以大大提高执行效率。而这就是指令重排。4.volatile 针对指令重排做了啥？volatile中会加一道内存的屏障，这个内存屏障可以保证在这个屏障中的指令顺序。
动手学深度学习PyTorch版---lastDay_4
Courageux_J的博客
03-01 278
lastDay GAN；DCGAN GAN相关学习连接： GAN的变种 https://github.com/hindupuravinash/the-gan-zoo （github,stars 7000） “sakura小樱”博客 https://blog.csdn.net/Sakura55/article/details/81512600 知乎上 https://...
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 1110
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1805
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
如何通过深度学习实践来理解深度学习的核心概念
最新发布
xw555666的博客
09-13 554
通过深度学习实践可以更好地理解其核心概念，因为理论知识在实际应用中会面临复杂性和挑战。通过实践，不仅可以加深对深度学习概念的理解，还能发现理论与实际之间的差距，进而对模型进行改进和优化。实践中遇到的问题（如梯度消失、过拟合、训练效率低等）能促使你深入思考，进而更加全面地掌握深度学习的核心概念。
深度学习-目标检测(一)-R-CNN
m0_73426548的博客
09-10 875
目标检测的暴力方法是从左到右、从上到下滑动窗口，利用分类识别目标。为了在不同观察距离处检测不同的目标类型，我们使用不同大小和宽高比的窗口。如下图所示： 这样就变成每张子图片输出类别以及位置，变成分类问题。但是滑动窗口需要初始设定一个固定大小的窗口，这就遇到了一个问题，有些物体适应的框不一样，所以需要提前设定K个窗口，每个窗口滑动提取M个，总共K x M 个图片，通常会直接将图像变形转换成固定大小的图像，变形图像块被输入 CNN 分类器中，提取特征后，我们使用一些分类器识别类别和该边界框的另一个线性回归器。这
多维时序 | Matlab基于TCN-Transformer+LSTM双输入神经网络时间序列预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
09-10 717
多维时序 | Matlab基于TCN-Transformer+LSTM双输入神经网络时间序列预测
【人工智能学习笔记】4_3 深度学习基础之循环神经网络
RIKI_1
09-10 1281
是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network），循环神经网络具有短期记忆能力。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 423
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
DAY_OF_WEEK,
03-28
DAY_OF_WEEK是一个常见的日期操作，用于获取给定日期的星期几。在不同的编程语言和日期库中，DAY_OF_WEEK的实现方式可能会有所不同，但基本原理是一致的。 在大多数编程语言中，日期通常以特定的格式表示，例如年、月、日。DAY_OF_WEEK函数可以接受一个日期作为输入，并返回该日期对应的星期几。通常，星期几用数字表示，例如1表示星期一，2表示星期二，以此类推。 以下是一个示例，展示了如何使用DAY_OF_WEEK函数获取给定日期的星期几： ```python import datetime def get_day_of_week(date): # 将日期字符串转换为datetime对象 date_obj = datetime.datetime.strptime(date, "%Y-%m-%d") # 使用weekday()方法获取星期几（0表示星期一，1表示星期二，以此类推） day_of_week = date_obj.weekday() return day_of_week # 示例调用 date = "2022-01-01" day_of_week = get_day_of_week(date) print(day_of_week) # 输出：5（表示星期六） ``` 请注意，具体的实现方式可能因编程语言和日期库而异。上述示例是使用Python中的datetime库来实现的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值