AndrewNg神经网络和深度学习笔记-Week3-6激活函数

最新推荐文章于 2024-07-24 21:01:17 发布
最新推荐文章于 2024-07-24 21:01:17 发布
阅读量279 收藏
点赞数
分类专栏： AndrewNg神经网络和深度学习笔记 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cyshlcb/article/details/78597007
版权

不同层可以由不同的激活函数。

隐藏层用tanh函数，而不用sigmoid函数，因为tanh的输出介于-1,1之间，激活函数输出的平均值更接近于0，而不是sigmoid的的0.5，让下一层的学习更方便一些。

只在输出层是二分类的时候用sigmoid函数，因为y输出0、1，正符合sigmoid函数的值域。

tanh和sigmoid的缺点都是，当z非常大或者非常小的时候，函数的斜率趋近于0，会拖慢梯度下降法的速度。所以用ReLU=>a = max(0, z)

钱伯斯
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络激活函数总结
syyyy712的博客
05-02 920
神经网络的激活函数作用是将输入信号经过非线性计算输出传递给下一个节点。常见的激活函数有这么三种，分别是Relu激活函数，sigmoid激活函数和tanh激活函数。 sigmoid激活函数： 图1： tanh激活函数： 图2： Relu激活函数： 图3： 上述三种常用的激活函数的优缺点如下： sigmoid激活函数和tanh激活函数在z特别大或者特别小的情况下，导数的...
Coursera-Machine-Learning:Ng的机器学习笔记和作业-Python3代码
04-30
项目简介本项目是 吴恩达机器学习 课程的 笔记 和 作业。课程作业原先使用的是 Octave 和 MATLAB。不过笔者觉得无论是对 Machine Learning 的学习还是对未来工程项目的开发 Python 都更为合适。所以笔者就使用 ...
神经网络常见激活函数总结
Catherinyy的博客
01-21 3685
最近在看大佬们整理的吴恩达老师的深度学习笔记，在这里总结一些常用的激活函数，以及它们的特点和选择。 sigmoid 函数 Sigmoid 是基础的非线性的激活函数，作用是将输入的连续实值变换为0和1之间的输出。对于非常大的负数，输出为0；对于非常大的正数，输出为1。 它的数学公式为： 函数图像如下图： tanh函数 tanh函数的值域位于(-1,1)之间，且穿过原点。实际上，它是sigmoid函数向下平移和伸缩后的结果。它的数学公式为： 函数图像如下图： relu函数
五分钟理解深度学习中激活函数以及不同激活函数的使用场景
weixin_43298663的博客
02-18 1004
　　数据学习（DataLearner）- 关注人工智能算法、学术论文和程序开发 　　欢迎访问： 　　datalearner 　　这篇博客是来自Analytics Vidhya的一篇文章。写的很不错。我自己做了翻译，并对一些问题做了简单的解释。这里的链接不能放，可以访问： 　　datalearner/blog/1051508750742453 　　简介 　　如今的互联网提供了大量的信息。我们只需要通过Google就可以找到这些信息。而我其中最重要的一个挑战是区分相关信息和非相关信息。当我们的大..
01.神经网络和深度学习——week3 浅层神经网络
iCode_girl的博客
02-01 321
12
神经网络和深度学习(吴恩达 Andrew Ng)：一二周学习笔记
weixin_34087307的博客
10-30 483
机器学习: 机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。简单的说，就是计算机从数据中学习规律和模式，以应用在新数据上做预测的任务。 （一）深度学习概念 深度学习指的是训练神经网络，有时候规模很大。 linear regression 线性回归 ...
Andrew Ng机器学习课程笔记--week2（多元线性回归&正规公式）
06-20
在Andrew Ng的机器学习课程中，Week2主要讲解了多元线性回归及其相关的优化方法，包括梯度下降和正规公式。 1. 多元线性回归： 多元线性回归是单变量线性回归的扩展，它考虑了多个特征（自变量）对目标变量（因变量...
吴恩达（Andrew NG）深度学习数据（course 1 week 2）
01-25
在本资源包中，我们关注的是吴恩达(Andrew NG)深度学习课程的第一门课程的第二周内容。吴恩达是机器学习和人工智能领域的知名专家，他的深度学习课程深受全球学员喜爱，为初学者和专业人士提供了深入理解深度学习...
吴恩达深度学习与神经网络课程作业 - 01.机器学习和神经网络
06-25
吴恩达（Andrew Ng）是全球知名的计算机科学家和人工智能专家，他在机器学习领域的贡献卓著，他的课程因其清晰的讲解和实践性强而广受欢迎。 首先，我们来探讨“机器学习”这一概念。机器学习是人工智能的一个分支...
Python-master_机器学习；AndrewNg_Python-master_
09-30
TensorFlow和Keras主要用于深度学习，而PyTorch则以更加灵活和直观的方式处理神经网络。 在这个"Python-master"项目中，你可能会发现以下主题： 1. 数据预处理：包括数据清洗、特征工程、编码分类变量、缺失值处理...
网课 | Andrew Ng 深度学习公开课——01 神经网络和深度学习
学习笔记
06-22 711
01 神经网络和深度学习写在前面本节主要内容课程笔记小结 写在前面 “网课 | Andrew Ng 深度学习公开课”系列博客记录该公开课的学习笔记。 这个公开课是我大三学年入门深度学习和计算机视觉时学过的课程，现在由于很多细节知识点有些遗忘，因此重新学习并整理了一下。 网易云课堂购买并翻译了该课程的学习视频，链接如下： https://mooc.study.163.com/smartSpec/detail/1001319001.htm 课程主要内容有：神经网络基础→\rightarrow→卷积神经
1.神经网络和深度学习 （Andrew Ng）
源码森林
02-26 311
3.9神经网络的梯度下降法 给出整个神经网络中每个层（输入层，隐藏层，输出层）的反向传播公式： 然后再给出每个参数的学习公式（梯度下降）： 神经网络的向量表示： 以下是关于正向传播和反向传播： ...
Python编程、机器学习与深度学习技术
2301_78164062的博客
07-24 793
Python编程、机器学习与深度学习技术
智能火焰监测系统：基于深度学习的实时火灾预警平台
最新发布
a871923942的博客
07-24 567
智能火焰监测系统：基于深度学习的实时火灾预警平台
深入理解深度学习中的“预测”与“计算”
qlkaicx的博客
07-24 568
在探讨深度学习和人工智能的应用时，**“预测”**这个词经常被提及。很多时候，人们对预测的理解可能会带有一些误区，特别是当涉及到预测未来的事件或结果时。本文将详细探讨在Python深度学习框架中的预测概念，以及为什么说这仍然是“预测”，而不仅仅是简单的“计算”。
Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练
人工智能视觉分析算法学习实践和经验分享。
07-24 215
Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练与推理Mindspore框架循环神经网络RNN模型实现情感分类|（六）模型加载和推理（情感分类模型资源下载）
2. 卷积神经网络无法绕开的神——LeNet
MechMaster
07-24 323
卷积神经网络无法绕开的大神——LeNet 1. 基本架构 2. LeNet 5 3. LeNet 5 代码
Mindspore框架循环神经网络RNN模型实现情感分类|（四）损失函数与优化器
人工智能视觉分析算法学习实践和经验分享。
07-24 1034
Mindspore框架循环神经网络RNN模型实现情感分类|（四）损失函数与优化器Mindspore框架循环神经网络RNN模型实现情感分类|（五）模型训练与推理。
基于深度学习的多智能体系统
weixin_42605076的博客
07-24 975
基于深度学习的多智能体系统（Multi-Agent Systems, MAS）是指通过多个智能体（agents）之间的协作或竞争来完成复杂任务的系统。这些智能体通过深度学习和强化学习技术进行学习和决策，广泛应用于机器人协作、自动驾驶、分布式控制和游戏AI等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值