学习 Tensorflow实践
损失函数(loss)
Table of Contents
一、激活函数 activation function
引入激活函数,可以有效避免XW的纯线性组合,提高模型的表达力,使模型更有区分度
1、relu激活函数 用tf.nn.relu()表示
2、sigmoid激活函数 用tf.nn.sigmoid()表示
3、tanh激活函数 用tf.nn.tamh()表示
二、NN复杂度:多用NN层数和N参数的个数表示
计算神经网络层数时只计算有计算能力的层,所以不计算输入层
层数=隐藏层的层数+1个输出层
总参数=总W+总b
上图3*4+4 + 4*2+2=26
NN优化目标:loss最小
主流loss计算:
- MSE(Mean Squared Error)均方误差
- CE(Cross Entropy)交叉熵
- 自定义
——————————————————————————————————————————
拟造数据集 X,Y_ X中有x1,x2 y_=x1+x2 噪声-0.05~0.05 拟合可以预测y的函数
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8 #每次喂入神经网络的特征数量
seed=23455
rdm= np.random.R