Maxout激活函数原理及实现

最新推荐文章于 2020-05-12 09:01:26 发布
最新推荐文章于 2020-05-12 09:01:26 发布
阅读量124 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/abcdefg90876/article/details/130435470
版权
本文介绍了Maxout激活函数的原理，其通过取多个线性输出的最大值实现非线性变换，具有强大的拟合能力。对比了Maxout与Dropout，指出Maxout在不同取值范围内可视为分段线性。此外，文章还探讨了在Maxout中应用Dropout的效果，并提供了在TensorFlow中的实现方法。
摘要由CSDN通过智能技术生成

1、原理简介

maxout激发函数，则其隐含层节点的输出表达式为：

这里的W是3维的，尺寸为d*m*k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个”隐隐含层”节点，这k个”隐隐含层”节点都是线性输出的，而maxout的每个节点就是取这k个”隐隐含层”节点输出值中最大的那个值。因为激发函数中有了max操作，所以整个maxout网络也是一种非线性的变换。

下图可以帮你直观的认识什么是maxout激活函数(下图中k=3)：

maxout的拟合能力是非常强的，它可以拟合任意的的凸函数。最直观的解释就是任意的凸函数都可以由分段线性函数以任意精度拟合，而

最低0.47元/天 解锁文章
文文学霸
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【DL经典回顾】激活函数大汇总（八）（Maxout & Softmin附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 1089
对于Maxout，由于其在提出后不久就在多个任务上显示出优异性能，因此它在深度学习社区中得到了广泛的关注和应用，特别是在图像识别和语言模型中。Softmin函数虽然在实践中使用不如Softmax广泛，但在需要关注较小值或者在配合Softmax函数使用以获得更全面的概率分布处理时，Softmin提供了一个有用的工具。本博客介绍这两个激活函数。
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 861
yolov8改进，激活函数，yolov8
激活函数(ReLU, Swish, Maxout)
weixin_30950607的博客
02-18 2871
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。 ReLU(Rectified Linear Unit,修正线性单元) 形式如下: \[ \begin{equation} f(x)= \begin{cases} 0, & {x\leq 0} \\\\ x, & {x\gt 0} \end{cases} \end{equation} \] ReLU公式近似推导::...
理解maxout激活函数
Lavi的专栏
05-24 2516
深度学习（二十三）Maxout网络学习 深度学习笔记–激活函数：sigmoid，maxout A Light CNN for Deep Face Representation with Noisy Labels 以上两篇博客都是针对全连接网络来列举的例子，注意在卷积神经网络中是什么样的。 详细的以后有时间再整理。 ...
TensorFlow笔记：激活函数
imbabao的博客
10-01 589
tf.nn.sigmid()函数 函数表达式 f(x)=11+e−x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+e−x1​ 函数图像 函数性质 对其求导可得到 f′(x)=f(x)(1−f(x))f'(x) = f(x)(1 - f(x))f′(x)=f(x)(1−f(x)) sigmoid函数取值范围在 (0, 1) 区间内，常用于输出层进行二分类...
激活函数maxout
热门推荐
August-us的博客
03-18 4万+
激活函数maxout系列文章：   maxout函数相对于其他的激活函数有很大的区别，可以看做是在神经网络中激活函数的地方加入一个激活函数层。maxout可以看做是一个可学习的分段线性函数，因为可学习所以是需要参数的，而且参数是可以通过反向传播来学习的。因为参数量的增大，势必导致计算量的增大。   传统的神经网络从第i层输入到第i+1层，只需要训练一组权重参数，这些参数决定了上一层输入到到达这一层...
8、TensorFlow 中的激活函数
Man
11-26 4242
一、深层神经网络为什么需要激活函数？ 非线性激活函数的主要作用 提供网络的非线性建模能力，增强模型的表达能力，双隐层神经网络能够解决任意复杂的分类问题 将原始特征从低维空间映射到高维空间(从多项式角度看——它隐含的找到了所需的高次特征项(更好的特征)，从而简化了繁重的计算) 线性函数不能用作激活函数的原因 线性函数的线性组合仍然是线性函数 不能解决线性不可分问题 二、激活函数的...
用尽可能多的字数介绍Maxout激活函数
08-13
Maxout激活函数的核心思想是在每个神经元的输出上选择最大的值，这是通过对输入进行最大化操作来实现的。具体地说，Maxout会将输入分组成若干组，每组有多个神经元，然后对每个组内的神经元进行求和运算，最后选择...
pytorch maxout实现
肥宅Sean
05-12 3823
简述 看了半天，在网上没有看到pytorch关于maxout的实现。（虽然看到其他的模型也是可以用的，但是为了更好的复现论文，这里还是打算实现下）。 （不一定保证完全正确，估计很快pytorch就会自己更新，对应的maxout激活函数了吧？我看到github上好像有对应的issue了都） maxout的原理也很简单：简单来说，就是多个线性函数的组合。然后在每个定义域上都取数值最大的那个线性函数，看起来就是折很多次的折线。（初中数学emmm） 实现 from torch.nn import init impo
深度学习笔记--激活函数：sigmoid，maxout
Chaolei3的博客
12-22 1万+
在神经网络中引入激活函数一个重要的原因就是为了引入非线性。1.sigmoid从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。 函数形式为。它的优点是输出范围为(0, 1)，所以可以用作输出层，用输出值来表示概率。也叫做
【TensorFlow】maxout实现以及TensorFlow各种基础知识
ncc1995的博客
03-22 1179
一、TensorFlow权重初始化 截断高斯分布 下面的初始化改进都是基于保证输出与输入的分布相差不大的思想。 xavier初始化(适用于激活函数是sigmoid和tanh) MSRA初始化(适用于激活函数relu) 二、TensorFlow参数初始化 tf.global_variables_initializer 三、tf.summary scalar(name, ...
激活函数之maxout
gentelyang的博客
08-11 7258
https://blog.csdn.net/hjimce/article/details/50414467 这篇博客讲的很好，以后再整理。
[TensorFlow 学习笔记-06]激活函数(Activation Function)
CVer
07-02 1万+
[版权说明] TensorFlow 学习笔记参考：  李嘉璇 著 TensorFlow技术解析与实战 黄文坚 唐源 著 TensorFlow实战郑泽宇  顾思宇 著 TensorFlow实战Google深度学习框架 乐毅 王斌 著 深度学习-Caffe之经典模型详解与实战 TensorFlow中文社区 http://www.tensorfly.cn/ 极客学院 著 TensorF
maxout实现-TensorFlow
Xwei1226的博客
05-21 2605
1.原理maxout作为一种独特的激活函数，来源于paper Goodfellow, I. J., Warde-Farley, D., Mirza, M., Courville, A., & Bengio, Y. (2013). Maxout networks. arXiv preprint arXiv:1302.4389。这种激活函数提出来，是为了解决dropout方法优化不方便，和准确...
简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习
08-25
简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习 简历是展示个人经历、技能和能力的重要文档，以下是一个常见的简历格式和内容模板，供您参考： 简历格式： 头部信息：包括姓名、联系方式（电话号码、电子邮件等）、地址等个人基本信息。 求职目标（可选）：简短描述您的求职意向和目标。 教育背景：列出您的教育经历，包括学校名称、所学专业、就读时间等。 工作经验：按时间顺序列出您的工作经历，包括公司名称、职位、工作时间、工作职责和成就等。 技能和能力：列出您的专业技能、语言能力、计算机技能等与职位相关的能力。 实习经验/项目经验（可选）：如果您有相关实习或项目经验，可以列出相关信息。 获奖和荣誉（可选）：列出您在学术、工作或其他领域获得的奖项和荣誉。 自我评价（可选）：简要描述您的个人特点、能力和职业目标。 兴趣爱好（可选）：列出您的兴趣爱好，展示您的多样性和个人素质。 参考人（可选）：如果您有可提供推荐的人员，可以在简历中提供其联系信息。 简历内容模板： 姓名: 联系方式: 地址: 求职目标: （简短描述您的求职意
JAVA版基于netty的物联网高并发智能网关
最新发布
08-25
JAVA版基于netty的物联网高并发智能网关
粮食波动率等相关农业数据（2011-2022）（全新整理）
08-25
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141441802 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 数据内容： 1.人均粮食产量 2.粮食总产量 3.粮食产量波动率（（当年粮食产量-历年粮食产量均值）/均值）：粮食生产受自然因素和市场等经济社会因素影响较大，常常表现出一定的波动。粮食产量波动率是衡量粮食生产稳定能力的重要指标之一。粮食产量波动率 Rt＝（Yt−Yt＇）／Yt＇，其中 Yt表示 t 年粮食总产量，Yt＇ 表示粮食产量 5 年移动平均值。 4.粮食播种面积 5.粮食单位面积产量 6.谷物/非谷物产量 7.秋收/夏收粮食产量 8.粮食进口数量 9.粮食进口金额 10.粮食出口金额 11.粮食外贸依存度（粮食进出口总额/农业
maxout激活函数
09-08
Maxout激活函数是一种用于神经网络的非线性激活函数，它由Ian Goodfellow等人在2013年提出。Maxout激活函数可以增加模型的非线性能力，并且在某些情况下可以提供更好的性能。 Maxout激活函数的定义如下： \[ f(x) = \max(W_1^T \cdot x + b_1, W_2^T \cdot x + b_2) \] 其中，\(x\) 是输入向量，\(W_1\)、\(W_2\) 是权重矩阵，\(b_1\)、\(b_2\) 是偏置向量。 Maxout激活函数的特点是它可以学习多个不同的ReLU函数。ReLU函数在输入大于零时返回输入值，否则返回零。Maxout函数在每个神经元上计算两个仿射变换，并选择其中较大的输出作为激活值。这样，每个神经元就可以学习到多个ReLU函数的组合，从而提供更强的非线性拟合能力。 Maxout激活函数在某些任务上表现出色，但在其他任务上可能并不适用。它通常用于深度神经网络中的隐藏层，可以帮助网络更好地捕捉输入数据的复杂特征。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值