人工智能实践——第五周激活函数损失函数等知识_损失函数是不是越接近0越好-CSDN博客

本文链接：https://blog.csdn.net/weixin_45680007/article/details/102588637

本文介绍了深度学习中的关键概念，包括学习率的指数衰减策略、Sigmoid、Tanh、ReLU及Leaky ReLU等激活函数、tf.where()的使用、MSE和自定义损失函数、交叉熵损失函数以及正则化中的L1和L2。同时讨论了优化器如SGD、Adagrad和Adam的作用。

摘要由CSDN通过智能技术生成

学的有点心态崩了。真是觉得人与人的差距比人与x的差距还大，大神们都在调参改超量，我连读个csv都调不出来，哎难受

学习率

学习率 learning_rate：学习率大了振荡不收敛，学习率小了收敛速度慢
改进：
指数衰减学习率
可以先用较大的学习率来快速得到一个较优解，然后随迭代逐步减小学习率，使模型在训练后期稳定。
衰减后的学习率衰减后的学习率= 初始学习率*衰减率衰减率（当前轮数当前轮数/多少轮衰减一次）多少轮衰减一次）

learning_rate=learning_rate_base*learning_rate_decay**
(epoch/learning_rate_step)

激活函数

Sigmoid函数
在这里插入图片描述
Tanh函数

 Relu函数函数

Leaky Relu函数

tf.where()

a=tf.constant([1,2,3,1,1])
b=tf.constant([0,1,3,4,5])
c=tf.where(tf.equal(a,1)) # 返回a 中等于1的位置索引 的位置索引
d=tf.where(tf.greater(a,b),a,b) # 若a>b ，返回a对应的位置上的数，否 对应的位置上的数，否
则返回 则返回b对应的位置上的数 对应的位置上的数
print("c ：",c)
print("d:",d)

输出：
c： tf.Tensor(
2019-10-16 16:06:00.012879: I tensorflow/core/platform/cpu_