本文深入探讨了深度学习中关键的组成部分：激活函数（sigmoid, tanh, relu, leaky relu）、损失函数（MSE, CE, 自定义loss）以及优化器（SGD, SGDM, Adagrad, RMSProp, Adam）。解释了为何选择relu和sigmoid，优化器为何使用Adam，以及损失函数的作用。文章通过手动实现五种优化器，构建神经网络，并分析了正则化对过拟合和欠拟合的影响。"
122341873,11569952,STM32F103C8T6使用USB-TTL烧录教程,"['STM32开发', '单片机编程', '嵌入式硬件', '烧录工具', 'CH340']
目录
〇.引言：
about.为什么要充分了解这些关于w和b参数权重更新的相关知识？
Ⅰ.几个要用到的预备函数：
tf.where，np.random.RandomState.Rand等
Ⅱ.激活函数：计算方式，函数/导数图象，优劣和使用建议
sigmoid，tanh，relu，leaky relu
Ⅲ.损失函数：
MSE，自定义loss，CE交叉熵含实现
Ⅳ.缓解过拟合/欠拟合的方式：
主要关于正则化L1和L2正则化，含实现
Ⅵ.五种优化器(用来更新权重)的计算方式和实现
模型优化算法的选择直接关系到最终模型的性能
SGD【最常用】,SGDM,Adagrad,RMSProp,Adam
【文中图因尺寸较大，放大可能不清晰，点击原文链接获取脑图和代码(含注释),
本文的代码较多，文章内不附代码，针对iris数据集，手动实现五种优化器，手动构建神经网络加入激活函数】
引言: 我们构建神经网络模型的时候(此处使用TF2.0)，是层和层的堆叠。有3种构建模型的方式。其中我们 以使用Sequential按层的顺序堆叠的方式作为引入 【ps：如果你先开始使用的是TF1.0，你会发现keras的使用进入到了TF2.0中】 关于keras和tf2.0的关系，参见： 深度学习-更新迭代后的tf2.0与Keras的关系【附tf2.0蜥蜴书见原文链接】from tensorflow.keras import *model = models.Sequential()model.add(layers.Embedding(...))
最低0.47元/天 解锁文章
扫一扫
1958
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
