TensorFlow学习笔记

TensorFlow学习笔记

1. tf.where （条件语句，真返回A，假返回B） 条件语句真 ，返回A，条件语句假。返回B
2. tf.greater(a,b) 返回 a，b中大的那个元素
3. np.random.RandomState.rand(维度) 返回一个[0, 1 ]之间的随机数，若维度为空，则返回标量
4. np.vstack(数组1，数组2 ) 将连个数组按垂直方向叠加
5. np.mgrid(起始值：结束值：步长，起始值：结束值：步长…)
6. np.ravel(x) 将x变为一维数组，“把 丶前的变量拉直 ”
7. np.c_[数组1，数组2…] 使返回的间隔数值点配对

NN复杂度

8. NN复杂度：多层神经网络（NN）层数和 NN参数个数

9. 空间复杂度：
   层数 = 隐藏层层数+1个输出层
   总参数 = 总w+总b

10. 空间复杂度：
    乘加运算次数

学习率

	指数衰减学习率：可以先用较大的学习率，快速得到较优解，然后逐步缩小学习率。使用魔仙在训练后期稳定
	**指数衰减学习率** = 初始学习率 * 学习率衰减率 ^ (当前轮数/多少轮衰减一次 )

for epoch in range(epoch):
    lr = LR_BASE * LR_DECAY ** (epoch/LR_STEP)
    with tf.GradientTape() as tape:
        loss = tf.square(w+1)
    grads = tape.gradient(loss,w)
    
    w.assign_sub(lr * grads)
    print('After %s epoch ,w is %f ,lr is %f'%(epoch,w.numpy(),loss,lr))

激活函数

由于神经网络是对输入数据的线性组合（y=ax + b）,所以需要激活函数来引入非线性因素。一般由非线性函数作为激活函数，可以大大增加模型的表达能力

优秀的激活函数

1、非线性：激活函数非线性时，多层神经网络可逼近所有的函数
2、可微性：优化器大部分是使用梯度下降来更新参数
3、单调性：当激活函数是单调的。能保证单层网络的损失函数是凸函数（更容易收敛）
4、近似恒等性：f(x) \approx xf(x)≈x . 当参数初始化为随机小值时，神经网络更稳定

激活函数输出值的范围

1、激活函数输出为有限值时，基于梯度优化方法更稳定（权重对特征的影响回更显著）
2、激活函数输出为无限值时（参数的初始值对模型的影响非常大），建议调小学习率
（这里有个问题，激活函数的输出什么时候是无限的）

为什么sigmoid函数不好用了

随着网络层数的增加。想要获取梯度信息就要用链式法则逐层求导。而sigmoid函数的倒数是 0 - 0.25之间的小
数，这样多层累加下来就会造成梯度消失。

Relu函数( tf.nn.relu(x) )

优点：
1、解决了梯度消失的问题 （在正区间解决），
2、只需判断输出是否大于0，计算速度快。（sigmoid和tanh都需要幂指计算）
3、收敛速度远远快于sigmoid和tanh
缺点：
1、输出非0均值，收敛慢（可以通过初始化参数时减少过多的负数参数送入relu）
2、神经元死亡问题：由于喂给Relu的神经元输出小于0的过多，造成相应的参数永远不能被更新（可通过设置更小的学习率，减少参数的巨大变化，避免训练中残生过多的负数特征进入Relu函数）

激活函数总结

1、首选relu激活函数
2、学习率设置较小值
3、输入特征标准化（让输入特征满足0为均值，1为标准差的正态分布）
4、初始参数中心化，既让随机生成的参数满足以0为均值，√（2/当前层输入特征个数）为标准差的正态分布。

损失函数（loss）：

loss：预测值pred与已知答案（y_lable）的差距（这个定义只适用与有监督？）

NN优化目标：loss最小
1、均方误差（mse）
2、自定义
3、ce（cross Entropy）

CE（Cross Entropy）:

CE表示两个概率分布之间的距离
H(y_,y) = -∑ y_ * lny (其中y_是标准答案的概率分布，y是预测结果的概率分布) 交叉熵越大，表示两个概率分布距离越远。越小，表示两个概率分布越近
tf.losses.categorical_crossentropy(y_, y)

Softmax 和交叉熵结合（分类问题时常用解决办法）

输出先经过softmax函数，再计算y’ 与y_的交叉熵损失函数

# tf中自带的可同时计算交叉熵损失函数和softmax
tf.nn.softmax_cross_entropy_with_logits(y_,y)