opencv4.4.0函数手册_TF2.0五种优化器，激活函数（sigmoid，tanh，relu，leaky relu的优缺点）,损失函数，正则化等...

目录

〇.引言：

    about.为什么要充分了解这些关于w和b参数权重更新的相关知识？

Ⅰ.几个要用到的预备函数：

    tf.where，np.random.RandomState.Rand等

Ⅱ.激活函数：计算方式，函数/导数图象，优劣和使用建议

    sigmoid，tanh，relu，leaky relu

Ⅲ.损失函数：

    MSE，自定义loss，CE交叉熵含实现

Ⅳ.缓解过拟合/欠拟合的方式：

    主要关于正则化L1和L2正则化，含实现

Ⅵ.五种优化器(用来更新权重)的计算方式和实现

    模型优化算法的选择直接关系到最终模型的性能

     SGD【最常用】,SGDM,Adagrad,RMSProp,Adam   

【文中图因尺寸较大，放大可能不清晰，点击原文链接获取脑图和代码(含注释),

本文的代码较多，文章内不附代码，针对iris数据集，手动实现五种优化器，手动构建神经网络加入激活函数】

引言: 我们构建神经网络模型的时候(此处使用TF2.0)，是层和层的堆叠。有3种构建模型的方式。其中我们 以使用Sequential按层的顺序堆叠的方式作为引入 【ps：如果你先开始使用的是TF1.0，你会发现keras的使用进入到了TF2.0中】 关于keras和tf2.0的关系，参见： 深度学习-更新迭代后的tf2.0与Keras的关系【附tf2.0蜥蜴书见原文链接】

from tensorflow.keras import *model = models.Sequential()model.add(layers.Embedding(...))mo