Tensorflow2.0 class2笔记

知识点

1.神经网络复杂度

2.激活函数

3.损失函数

4.欠拟合与过拟合

5.正则化减少过拟合

6.优化器更新网络参数

1. 神经网络复杂度

空间复杂度：网络层数（不含输入层）、网络中总参数

时间复杂度：乘加运算次数

2. 激活函数

不重复造车轮子，上链接！

四种常见激活函数_激活函数有哪些_虽千万人 吾往矣的博客-CSDN博客

3. 损失函数

仅举例，mse、ce(cross entropy 交叉熵) 等，也可以自定义，比如正则化或者根据不同条件设置不同权重等

mse: tf.reduce_mean(tf.square(y-y_))

ce: tf.losses.categorical_crossentropy(y_,y)（y_,y均应符合概率分布，即输入前应先经过softmax函数）

可将softmax+ce简化为tf.nn.softmax_cross_entropy_with_logits(y_,y)

4. 欠拟合与过拟合

欠拟合的解决方法：

1.增加输入特征项  2. 增加网络参数  3. 减少正则化参数

过拟合的解决方法：

1. 数据清洗  2. 增大训练集  3. 采用正则化/增大正则化参数

5. 正则化减少过拟合

L1、L2正则化和过拟合 - 知乎 (zhihu.com)

6. 优化器更新网络参数

机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam） - 知乎 (zhihu.com)