机器学习笔记11_如何选择激活函数

已于 2023-11-13 16:26:24 修改
阅读量55 收藏
点赞数
文章标签： 笔记
于 2023-11-13 16:25:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73153984/article/details/134380037
版权

输出层

① S 型函数

就是我们熟知的 sigmoid 函数

非常适用于二分类问题

②线性激活函数

这里可以近似认为没有使用激活函数

g（z）= z

适用于结果有正有负的情景

比如：预测股市价格

③ReLU函数

g（z）= Max（0，z）

适用于结果只有非负数的情形

比如：预测房价

隐藏层

当前深度学习领域的从业人员

在隐藏层大多数情况下都会使用 ReLU 函数

原因如下：

  • ReLU 计算更简单，只需要比较 0 与 z 的大小
  • ReLU 只有一个平坦部分，更利于梯度下降算法收敛，并且收敛更快
  • ReLU 学习起来会更快

总结及实现代码

但行此事1222
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
吴恩达机器学习个人笔记
07-05
深度学习中，梯度消失和梯度爆炸的问题，以及如何通过正则化、批量归一化和激活函数的选择来解决这些问题，也是笔记的重要内容。 此外，笔记可能详细阐述了模型评估与优化，包括交叉验证、网格搜索、学习曲线和调参...
斯坦福大学机器学习个人笔记
03-12
在本套笔记中，我们将深入探讨斯坦福大学的机器学习课程所涵盖的关键概念和技术。 一、基础理论 1. 监督学习：这是最常见的机器学习类型，包括分类和回归问题。分类是将数据分配到预定义类别，而回归则是预测连续...
机器学习笔记11—机器学习/深度学习之激活函数及python代码实现
weixin_45666566的博客
07-10 1034
2.2 ML/DL之激活函数 非线性激活函数：Sigmoid函数、tanh函数、ReLU函数、Leaky ReLU函数。 1、激活函数特点 非线性处理单元。激活函数使神经网络具有非线性。它决定感知机是否激发。 激活函数的这种非线性，赋予了深度网络学习复杂函数的能力。 除了在0点的修正单元以外，大多数激活函数都是连续并可导。 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。 2、常用的激活函数 Si
机器学习笔记-激活函数
weixin_54814385的博客
03-09 2824
前言 本文是对升级网络中常见的激活函数的一个总结，我们会介绍各种激活函数的基本形式和优缺点等。 什么是激活函数 激活函数可以说是神经网络的基础，假设默认你已经了解过神经网络的基础结构，那么 ...
机器学习笔记-激活函数关于零点对称问题
weixin_54814385的博客
03-09 923
前言   激活函数值域关于零对称的问题在激活函数那篇文章中未详细介绍，在那里说到，当激活函数的值域不关于0点对称，会导致梯度下降的速度下降，关于这一点，过去我只是将其记下，却并未理解背后的原因。此篇谈谈背后的原因。 要探讨为什么Sigmoid函数会影响学习效率这个问题，需要找到影响梯度的因素。 权重更新   深度学习一般的学习方法是反向传播，简单来说，就是通过链式法则，求解全局损失函数LLL对某一参数www的偏导数，而后乘以学习率，向梯度的反方向更新参数www,更新公式可以表示为： w<−w−η⋅∂L
机器学习基础学习笔记（十）激活函数---- 网络的表示能力、学习能力
exsolar_521的博客
07-21 1121
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。 激活函数 性质 为了增强网络的表示能力和学习能力，激活函数需要具备以下几点性质： （1） 连续并可导（允许少数点上不可导）的非线性函数．可导的激活函数可以直接利用数值优化的方法来学习网络参数． （2） 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率． （3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性． 总结：非线性、连续可微、范围最好不饱和、单调性、原
机器学习笔记
weixin_61576710的博客
08-01 1595
机器学习
CNN.zip_机器学习_机器学习资料
09-24
卷积神经网络（CNN，Convolutional Neural Network）是机器学习领域中一种广泛使用的深度学习模型，尤其在图像...通过阅读和实践这些笔记，你可以逐步理解并掌握CNN的工作原理，以及如何在实际项目中应用机器学习技术。
斯坦福机器学习课程笔记
02-28
神经网络是深度学习的基础，笔记讲解了前馈神经网络的结构，包括隐藏层、激活函数（如ReLU、Sigmoid和Tanh）、反向传播算法以及权重更新。此外，还介绍了深度学习中的一些挑战，如梯度消失和梯度爆炸，以及解决方案...
deepseek-vl 论文阅读笔记
samoyan的博客,记录技术成长~
07-22 1151
我们的语言模型基于DeepSeek LLM（DeepSeek-AI，2024），其微设计大体遵循LLaMA（Touvron等，2023a,b）的设计，采用带有RMSNorm（Zhang和Sennrich，2019）函数的Pre-Norm结构，并使用SwiGLU（Shazeer，2020）作为前馈网络（FFN）的激活函数，中间层维度为8/3模型维度。此外，我们引入了一种新的“模态预热”策略。为了促进创新并支持广泛的应用需求，我们公开了两个版本的模型，分别为1.3B和7B，以满足不同计算能力的需求。
Spring Security学习笔记（二）Spring Security认证和鉴权
飞！！！的博客
07-24 571
用户认证的基础Filter，只有UsernamePasswordAuthenticationFilter这一个实现类。...//主要方法//先校验请求url与表单校验提交的url是否一致，不一致执行下一个Filter//一致的话就执行认证逻辑，一般默认的表单提交url是"/login"if (!} else {try {//实现类执行具体的认证逻辑return;//由子类实现具体的验证逻辑...
Typora笔记上传到CSDN
最新发布
m0_48362854的博客
07-25 330
我花了一个小时弄这个 找了很多csdn的笔记 都弄完感觉最方便的还是直接在csdn上写（因为有的之前不是用的阿里云oss 而是gitee 免费仓库 但是好像后来不能使用了 就会导致你上传的笔记图片不显示 很麻烦 使用阿里云或者腾讯云的话 需要花钱 虽然两块钱用一年 但是感觉也是很麻烦 不如直接在网页上写写算了 当然如果笔记图片很多的 还是建议配置一下 ）参考这个配置完阿里云oss 没什么问题 但是PicGo也是参考他的 因为版本是旧的 可以点击我下边的官方链接下载。图片的链接是本地的 当然没法显示。
学习笔记---java篇（0723）
m0_70630166的博客
07-23 781
java、数据类型、循环、选择等
笔记分类的烦恼
m0_56147044的博客
07-24 358
笔记的分类
webStorm 实时模板笔记
weixin_46665865的博客
07-22 270
【代码】webStorm 实时模板笔记。
7月22日学习笔记 文件共享服务nfs，SAMBA文件共享与DNS域名服务
weixin_70751701的博客
07-22 1029
计算机名称——>解析为相应IP地址，实现信息通讯 NetBIOS是Network Basic Input/Output System的简称，⼀般指⽤于局域⽹通信的。/usr/share/nginx/html/static/6.查看挂载⽬录，在webserver中看到nfs服务共享的数据，这个数据是连接，smbd进程控制发布共享⽬录与权限、==负责⽂件传输== ==TCP 139 445==搭建⼀个SAMBA服务，共享⼀个⽬录/samba/share,客户端使⽤user01/123通过。
《书生大模型实战营第3期》入门岛 学习笔记与作业：Python 基础知识
shiter编写程序的艺术
07-21 991
python开发简介：【集成开发环境 IDE】python开发简介：【Conda，Pip】虚环境搭建、配置python开发简介：【jupyter notebook】实战配置python开发简介： 编码规范与工程基础实践使用 jupyter hub /lab搭建机器学习工作台使用跨平台的visual studio code 进行python 开发（综合内容老版本）python 开发环境搭建（综合内容老版本）其实Python 的环境配置在所有编程技术栈中是相对简单的，由于conda，pip 的存在。
《Programming from the Ground Up》阅读笔记：p75-p87
codists的博客
07-24 812
存储在文件中的数据称为persistent data，因为即使程序每页运行，数据仍保留在磁盘上的文件里。词组：be tedious to do sth。
人工智能入门：从机器学习到深度学习笔记
"这是一份关于机器学习和深度学习的学习笔记，适合初学者，内容包括人工智能的基本概念、开发环境的搭建、基础工具包的使用以及Jupyter Notebook的界面优化和编码入门。" 在这份笔记中，作者首先介绍了人工智能的两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值