Tensorflow 神经网络优化 关于损失函数 loss learning_rate softmax

学习 Tensorflow实践

损失函数（loss）

Table of Contents

损失函数（loss）

一、激活函数 activation function

二、NN复杂度：多用NN层数和N参数的个数表示

NN优化目标：loss最小

交叉熵ce

softmax函数

学习率learning_rate:每次参数更新的幅度

指数衰减学习率

---

一、激活函数 activation function

引入激活函数，可以有效避免XW的纯线性组合，提高模型的表达力，使模型更有区分度

1、relu激活函数 用tf.nn.relu()表示

2、sigmoid激活函数 用tf.nn.sigmoid()表示

3、tanh激活函数 用tf.nn.tamh()表示

二、NN复杂度：多用NN层数和N参数的个数表示

计算神经网络层数时只计算有计算能力的层，所以不计算输入层

层数=隐藏层的层数+1个输出层

总参数=总W+总b

上图3*4+4  +  4*2+2=26

NN优化目标：loss最小

主流loss计算：

• MSE（Mean Squared Error）均方误差
• CE（Cross Entropy）交叉熵
• 自定义

——————————————————————————————————————————

拟造数据集 X，Y_     X中有x1,x2    y_=x1+x2 噪声-0.05～0.05 拟合可以预测y的函数

import tensorflow as tf
import numpy as np
BATCH_SIZE = 8 #每次喂入神经网络的特征数量
seed=23455

rdm= np.random.R