机器学习与深度学习系列连载： 第二部分 深度学习（八）可以自己学习的激活函数（Maxout）

最新推荐文章于 2021-04-07 20:08:42 发布
最新推荐文章于 2021-04-07 20:08:42 发布
阅读量660 收藏 3
点赞数 1
分类专栏： 深度学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dukuku5038/article/details/83715627
版权

可以自己学习的激活函数（Maxout）

在深度学习中激活函数有sigma， tanh， relu，还有以后会将到的selu，但是有没有一个激活函数不是人为设定的，是机器学出来的呢？对抗网络（GAN）之父Goodfellow，给我们一个肯定的答案。Learnable activation function [Ian J. Goodfellow, ICML’13]

我们以两个输入的input举例，当然，input的维度可以更多。
在这里插入图片描述
每一层的结果，就是两两求最大值。

Relu是一种特殊的maxout

在这里插入图片描述

可学习的激活函数 learnable activation function

除了Relu之外 more than Relu
在这里插入图片描述

Maxout的性质

  • 任何在maxout network的都会被piecewise的线性凹函数表示
  • 有多少线段，取决于多少个元素为一组
    在这里插入图片描述

maxout的训练：
在这里插入图片描述

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！

人工智能插班生
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【DL经典回顾】激活函数大汇总（八）（Maxout & Softmin附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-14 1044
对于Maxout，由于其在提出后不久就在多个任务上显示出优异性能，因此它在深度学习社区中得到了广泛的关注和应用，特别是在图像识别和语言模型中。Softmin函数虽然在实践中使用不如Softmax广泛，但在需要关注较小值或者在配合Softmax函数使用以获得更全面的概率分布处理时，Softmin提供了一个有用的工具。本博客介绍这两个激活函数。
李宏毅机器学习课程９~~~深度学习技巧
jiandanjinxin的专栏
07-30 5396
Recipe of Deep Learning Overfitting overfitting的判断是要训练误差与测试误差做比较。这个56-layer的网络在训练集上都没有训练好，说白了就是有点欠拟合。所以仅仅依靠测试集上的结果来判断56-layer比20-layer overfitting是不合理的。 更多理解见 Overfitting and Underfit
激活函数之maxout
gentelyang的博客
08-11 7240
https://blog.csdn.net/hjimce/article/details/50414467 这篇博客讲的很好，以后再整理。
激活函数的理解和实现-最新整理
亨利王的博客
04-14 3626
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内容对你是有价值的...
面试笔试整理3：深度学习机器学习面试问题准备（必会） - CSDN博客1
08-03
深度学习和机器学习是当前人工智能领域的核心组成部分，它们在图像识别、语音处理、自然语言理解等众多领域发挥着重要作用。面试中，对于这两方面的深入理解和掌握至关重要。以下是一些深度学习和机器学习面试中常见...
深度学习入门：激活函数
07-04
在深度学习中，激活函数扮演着至关重要的角色。本文将深入探讨激活函数的概念、类型及其在深度学习中的应用。 激活函数是神经网络模型的心脏，它负责引入非线性特性，使得网络能够处理复杂的非线性关系。如果没有...
深度学习初步，全连接神经网络，MLP从原理到实现（二）原理部分，过拟合，激活函数，batc。。。 深度学习原理.pdf
04-13
深度学习初步全连接神经网络 MLP 原理部分 深度学习是一种机器学习方法，它使用人工神经网络来模拟人脑的思考方式，通过学习数据来解决问题。全连接神经网络（MLP）是深度学习中的一种基本模型，能够学习和表示复杂...
山东大学2020年深度学习复习提纲
12-20
2. 正则化：正则化是指在机器学习模型中对损失函数添加惩罚项，以避免过拟合。常见的正则化方法有L1正则化和L2正则化。L1正则化可以使权重向量变得稀疏，而L2正则化可以使每个权重值变得小。 3. 激活函数：激活函数...
深度学习复习.pdf
03-06
在山东大学计算机学院人工智能实验班（2018级）的深度学习与神经网络课程中，学生们需要掌握一系列关键概念和技术，以应对期末考试。以下是这些知识点的详细说明： 1. **超参数**：超参数是在训练模型之前设定的，...
《机器学习》学习笔记（七）-- 深度学习的技巧和优化方法
DIAJEY的博客
08-16 871
1.Recipe of Deep Learning three step of deep learning 我们已经知道了deep learning的三个步骤： · define the function set(network structure) · goodness of function(loss function - cross entropy) · pick the best function(gradient descent - optimization) 做完这些事情后，会得到一个更好的ne
DNN训练技巧（Tips for Training DNN）
weixin_30682127的博客
12-26 695
本博客是针对李宏毅教授在Youtube上上传的课程视频《ML Lecture 9-1：Tips for Training DNN》的学习笔记。 课程链接 Recipe of Deep Learning 训练集上效果差 换激活函数New activation function 自适应学习率Adaptive Learning Rate 训练集上效果好的基础...
Activation Functions in Neural Networks
tangwing的专栏
01-31 360
This article is inspired by这里and 这里. - 激活函数的主要意义是为NN加入非线性的元素。在神经学上模仿的是一个神经元是否有效。 A Neural Network without Activation function would simply be aLinear regression Model.Neural-Networks are consid...
Dropout，maxout，NIN
cv_family_z的博客
07-16 2783
Dropout dropout是前向网络结构中给定输入向量v，预测输出y的一种技术。网络包含一系列隐含层节点h=h(1),...,h(L)h={h^{(1)},...,h^{(L)}}，Dropout是由v和h中的部分变量训练出模型的集成模型。使用θ\theta 对分布p(y|v;θ,μ)p(y|v;\theta ,\mu) 进行参数化，μ\mu 是决定包含哪些变量的二值掩码。不同子模型的实例可通
理解maxout激活函数
Lavi的专栏
05-24 2508
深度学习（二十三）Maxout网络学习 深度学习笔记–激活函数：sigmoid，maxout A Light CNN for Deep Face Representation with Noisy Labels 以上两篇博客都是针对全连接网络来列举的例子，注意在卷积神经网络中是什么样的。 详细的以后有时间再整理。 ...
Maxout Networks
LYKymy的博客
08-02 302
Abstract 我们考虑设计模型的问题，以利用最近引入的称为丢失的近似模型平均技术。 我们定义了一个名为maxout的简单新模型（之所以如此命名，因为它的输出是一组输入的最大值，因为它是丢失的自然伴随），旨在通过丢失促进优化，并提高丢失的快速近似模型平均值的准确性 技术。 我们凭经验验证模型是否成功完成了这两项任务。 我们使用maxout和dropout来展示四种基准数据集的最新分类性能：MN...
Maxout的深入理解
pandav5的专栏
03-24 4842
转之：http://www.cnblogs.com/tornadomeet/p/3428843.html
深度学习maxout单元
Rookiekk
10-03 3080
    今天学习深度学习看到整流线性单元及其扩展里的maxout单元，感觉这个有点东西，书中讲的不是特别详细，在此记录一下学习到的东西。参考了http://www.cnblogs.com/tornadomeet 一、相关理论     maxout出现在ICML2013上:《Maxout  Networks》,作者Goodfellow将maxout和dropout结合后，号称在MNIST, C...
激活函数(ReLU, Swish, Maxout)
不二的博客
05-17 795
强烈推荐： https://www.cnblogs.com/makefile/p/activation-function.html https://blog.csdn.net/cyh_24/article/details/50593400
tensorflow中自定义激活函数
bjay的专栏
04-07 3495
一、tensorflow中常用的模型定义 import tensorflow as tf model=tf.keras.Sequential([ tf.keras.layers.Dense(64, kernel_initializer='normal', activation='relu'), tf.keras.layers.Dense(1, kernel_initializer='normal', activation='relu') )] 上面这段代码定义了两层，输出为一个元素。
maxout激活函数
最新发布
09-08
Maxout激活函数是一种用于神经网络的非线性激活函数，它由Ian Goodfellow等人在2013年提出。Maxout激活函数可以增加模型的非线性能力，并且在某些情况下可以提供更好的性能。 Maxout激活函数的定义如下： \[ f(x) = \max(W_1^T \cdot x + b_1, W_2^T \cdot x + b_2) \] 其中，\(x\) 是输入向量，\(W_1\)、\(W_2\) 是权重矩阵，\(b_1\)、\(b_2\) 是偏置向量。 Maxout激活函数的特点是它可以学习多个不同的ReLU函数。ReLU函数在输入大于零时返回输入值，否则返回零。Maxout函数在每个神经元上计算两个仿射变换，并选择其中较大的输出作为激活值。这样，每个神经元就可以学习到多个ReLU函数的组合，从而提供更强的非线性拟合能力。 Maxout激活函数在某些任务上表现出色，但在其他任务上可能并不适用。它通常用于深度神经网络中的隐藏层，可以帮助网络更好地捕捉输入数据的复杂特征。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值