目录
〇.引言:
about.为什么要充分了解这些关于w和b参数权重更新的相关知识?
Ⅰ.几个要用到的预备函数:
tf.where,np.random.RandomState.Rand等
Ⅱ.激活函数:计算方式,函数/导数图象,优劣和使用建议
sigmoid,tanh,relu,leaky relu
Ⅲ.损失函数:
MSE,自定义loss,CE交叉熵含实现
Ⅳ.缓解过拟合/欠拟合的方式:
主要关于正则化L1和L2正则化,含实现
Ⅵ.五种优化器(用来更新权重)的计算方式和实现
模型优化算法的选择直接关系到最终模型的性能
SGD【最常用】,SGDM,Adagrad,RMSProp,Adam
【文中图因尺寸较大,放大可能不清晰,点击原文链接获取脑图和代码(含注释),
本文的代码较多,文章内不附代码,针对iris数据集,手动实现五种优化器,手动构建神经网络加入激活函数】
引言: 我们构建神经网络模型的时候(此处使用TF2.0),是层和层的堆叠。有3种构建模型的方式。其中我们 以使用Sequential按层的顺序堆叠的方式作为引入 【ps:如果你先开始使用的是TF1.0,你会发现keras的使用进入到了TF2.0中】 关于keras和tf2.0的关系,参见: 深度学习-更新迭代后的tf2.0与Keras的关系【附tf2.0蜥蜴书见原文链接】from tensorflow.keras import *model = models.Sequential()model.add(layers.Embedding(...))