opencv4.4.0函数手册_TF2.0五种优化器,激活函数(sigmoid,tanh,relu,leaky relu的优缺点),损失函数,正则化等...

本文深入探讨了深度学习中关键的组成部分:激活函数(sigmoid, tanh, relu, leaky relu)、损失函数(MSE, CE, 自定义loss)以及优化器(SGD, SGDM, Adagrad, RMSProp, Adam)。解释了为何选择relu和sigmoid,优化器为何使用Adam,以及损失函数的作用。文章通过手动实现五种优化器,构建神经网络,并分析了正则化对过拟合和欠拟合的影响。" 122341873,11569952,STM32F103C8T6使用USB-TTL烧录教程,"['STM32开发', '单片机编程', '嵌入式硬件', '烧录工具', 'CH340']
摘要由CSDN通过智能技术生成

目录

〇.引言:

    about.为什么要充分了解这些关于w和b参数权重更新的相关知识?

Ⅰ.几个要用到的预备函数:

    tf.where,np.random.RandomState.Rand等

Ⅱ.激活函数:计算方式,函数/导数图象,优劣和使用建议

    sigmoid,tanh,relu,leaky relu

Ⅲ.损失函数:

    MSE,自定义loss,CE交叉熵含实现

Ⅳ.缓解过拟合/欠拟合的方式:

    主要关于正则化L1和L2正则化,含实现

Ⅵ.五种优化器(用来更新权重)的计算方式和实现

    模型优化算法的选择直接关系到最终模型的性能

     SGD【最常用】,SGDM,Adagrad,RMSProp,Adam   

【文中图因尺寸较大,放大可能不清晰,点击原文链接获取脑图和代码(含注释),

本文的代码较多,文章内不附代码,针对iris数据集,手动实现五种优化器,手动构建神经网络加入激活函数】

引言: 我们构建神经网络模型的时候(此处使用TF2.0),是层和层的堆叠。有3种构建模型的方式。其中我们 以使用Sequential按层的顺序堆叠的方式作为引入 【ps:如果你先开始使用的是TF1.0,你会发现keras的使用进入到了TF2.0中】 关于keras和tf2.0的关系,参见: 深度学习-更新迭代后的tf2.0与Keras的关系【附tf2.0蜥蜴书见原文链接】
from tensorflow.keras import *model = models.Sequential()model.add(layers.Embedding(...))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值