Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解

已于 2024-06-06 11:49:55 修改
阅读量1w 收藏 100
点赞数 83
分类专栏： Keras深度学习从入门到项目实战 文章标签： 深度学习 keras python
于 2022-04-27 10:01:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/123970565
版权
本文深入探讨了深度学习中常用的激活函数，包括Sigmoid、Tanh、ReLU和线性激活，分析了各自的优缺点。此外，还详细介绍了损失函数，如均方误差、平均绝对误差和分类交叉熵，对于理解和优化模型至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解

常用激活函数

使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键。如果没有非线性激活函数，那么该网络将仅仅能够表达简单的线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 可以在网络中的多个层中应用激活函数。

Sigmoid 激活函数

sigmoid 是使用范围最广的一类激活函数，其取值范围为 [0, 1]，它可以将一个实数映射到 [0, 1] 的区间，可以将其用于二分类问题。

Sigmoid 函数公式定义如下所示：

s i g m o

了解本专栏 订阅专栏 解锁全文
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1345
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
Keras深度学习实战（2）——使用Keras构建神经网络
热门推荐
盼小辉丶的博客
04-20 8万+
Keras 是用 Python 编写的高级神经网络 API，它的核心思想在于实现快速实验，该库提供了很多实用工具，可以简化构建复杂神经网络的过程。在本节中，我们将使用 Keras 库构建神经网络，感受 Keras 快速模型构建的特性。.........
Keras常用的激活函数详细介绍
u013558123的博客
01-04 816
keras 激活函数
一文搞懂激活函数和损失函数（PyTorch）
最新发布
m0_59163425的博客
03-24 1276
常见的激活函数有 Sigmoid、Tanh、ReLU 和 Leaky ReLU。）是什么？激活函数是神经网络中的非线性函数，用于在神经元之间引入非线性关系，从而使模型能够学习和表示复杂的数据模式。将输入值压缩到(0, 1)之间，常用于二分类问题的输出层。但存在梯度消失问题，且输出不以零为中心。
【2】Keras之激活函数
Bing's Blog
11-06 5340
喜欢看官宣的，直接去这里：https://keras.io/activations/ 本文内核也是来自这个地方。 Keras中如何使用激活函数 有两种使用方式： Activation层 其它层的activation参数 通过添加激活层使用： from keras.layers import Activation, Dense model.add(Dense(64)) model.add(Act...
Tensorflow keras 激活函数
weixin_42272768的博客
01-05 3606
激活函数的作用 激活函数是神经网络的重要组成部分。通过激活函数，可以让神经网络很好的解决非线性问题。在最初的阶段，使用的激活函数是sigmoid函数。但是此激活函数存在严重的梯度消失问题，在近期经常使用的是relu激活函数，而且出现了很多的变种relu函数。本文主要介绍tensorflow中keras部分的激活函数。 keras中的激活函数 keras中定义了多种的激活函数，几乎涵盖了所有的激活函数： 激活函数 描述 relu relu激活函数（修正线性单元） elu elu激活函数
keras课程2-激活函数
weixin_43178406的博客
06-04 463
1.
详解Keras3.0 Layer API: Activation functions(激活函数)
lymake的博客
12-25 2313
【代码】详解Keras3.0 Layer API: Activation functions(激活函数)
Keras各激活函数区别
qq_45074963的博客
04-18 4603
简介： 激活函数是人工神经网络的一个极其重要的特征。它决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关。 激活函数实际上是将输入信息做了非线性变换传给下一层神经元，在神经网络中，激活函数基本是必不可少的一部分，因为他增加了我们的模型的复杂性，每层神经元都有一个权重向量weight和偏置向量bias,如果没有了激活函数，神经网络实质上就成了一个线性回归网络，每一次都只是在上一层...
Keras深度学习实战（1）——神经网络基础与模型训练过程详解
盼小辉丶的博客
04-10 6万+
神经网络是一种性能强大的学习算法，其灵感来自大脑的运作方式。类似于神经元在大脑中彼此连接的方式，神经网络获取输入后，通过某些函数在网络中进行传递输入信息，连接在其后的一些神经元会被激活，从而产生输出。本文主要介绍神经网络中重要的基础知识，然后使用 Python 从零开始构建神经网络的训练流程，包括前向传播和反向传播，更直观的了解神经网络的通用训练流程。............
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
使用keras实现非线性回归(两种加激活函数的方式)
12-17
我就废话不多说了，大家还是直接看代码吧~ import keras import numpy as np import matplotlib.pyplot as plt #Sequential 按顺序构成的模型 from keras.models import Sequential#Sequential是模型结构，输入层，隐藏层，输出层 #Dense 全连接层,Activation激活函数 from keras.layers import Dense,Activation from keras.optimizers import SGD x_data=np.linspace(-0.5,0.5
神经网络激活函数列表大全及keras中的激活函数定义
老猿Python
10-06 1763
在机器学习中，激活函数是神经网络中的一种函数，用于在神经网络的每个神经元中引入非线性。没有激活函数，神经网络就无法学习复杂的模式，因为线性变换的组合仍然是线性的。在Keras中，激活函数可以通过设置单独的 Activation 层实现，也可以在构造层对象时通过传递 activation 参数实现。本文介绍了11个激活函数，包括线性函数linear、线性指数激活函数elu、整流线性单元relu、可伸缩指数线性单元SELU、softmax函数、softplus函数、softsign函数、sigmoid函数、ha
Keras深度学习框架基础第二讲：层接口(layers API)“层激活函数”
MUKAMO的博客
05-29 1289
激活函数在神经网络中起着至关重要的作用，它们引入非线性，使得网络能够学习复杂的数据表示。常见的激活函数如ReLU、Sigmoid、Tanh各有特点，而像Swish、Mish和GELU等则是近年来提出的改进版本。Log-Softmax常用于多分类问题的输出层，将原始分数转换为概率分布。自定义激活函数可以通过定义可调用的对象实现，允许研究人员根据任务需求灵活设计。选择适当的激活函数对于提高网络性能至关重要。
keras中激活函数的使用
zfjBIT的专栏
06-13 7487
两种方式： 一、通过keras封装的网络层中的activation参数指定： 例如，下面的卷积层中的指定的激活函数为ReLU函数： from keras.model import Sequential from keras.layers import Conv2D from keras.layers import MaxPooling2D model = Sequential() mod...
激活函数
Yingying
03-05 4152
转载自：原文 神经网络为什么要使用激活函数？  首先提一下激活函数的一般形式，在我平时的学习中，我遇到过的一般是这四种形式，simoid,tanh,ReLu,softplus。  simoid函数也称S曲线：f(x)=11+e−x tanh:f(x)=tanh(x) ReLU：f(x)=max(x,0) softmax:f(x)=log(
keras 定义激活函数及layer
weixin_34326429的博客
11-23 2140
自定义激活函数 通过定义个操作 Tensor 的函数，然后将其添加到 keras 系统中即可。 from keras.utils.generic_utils import get_custom_objects def binary(x): # 注: tf.greater 函数没有 gradient ...
keras模块学习之-激活函数（activations）--笔记
03-27 530
本笔记由博客园-圆柱模板博主整理笔记发布，转载需注明，谢谢合作! 每一个神经网络层都需要一个激活函数，例如一下样例代码： from keras.layers.core import Activation, Dense model.add(Dense(64)) model.add(Activation('tanh')) 或把上面两...
激活函数的选择
maybe_fate的博客
06-08 864
那么你应该使用哪个激活函数来处理深层神经网络的隐藏层？ 虽然你的里程会有所不同，一般 ELU > leaky ReLU（及其变体）> ReLU > tanh > sigmoid。 如果您关心运行时性能，那么您可能喜欢 leaky ReLU超过ELU。 如果你不想调整另一个超参数，你可以使用前面提到的默认的α值（leaky ReLU 为 0.01，ELU 为 1）。 如果您有...
Keras深度学习实战指南：非线性模型构建技巧
在本资源中提到的 "keras深度学习实战" 可能是一个开源项目，或者是包含示例代码的教程，用于展示如何使用 Keras 实现深度学习模型。资源中提到的“最用一张的非线性模型构建方式”，可能指的是利用 Keras 构建非...
评论 31
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值