TensorFlow学习笔记
- tf.where (条件语句,真返回A,假返回B) 条件语句真 ,返回A,条件语句假。返回B
- tf.greater(a,b) 返回 a,b中大的那个元素
- np.random.RandomState.rand(维度) 返回一个[0, 1 ]之间的随机数,若维度为空,则返回标量
- np.vstack(数组1,数组2 ) 将连个数组按垂直方向叠加
- np.mgrid(起始值:结束值:步长,起始值:结束值:步长…)
- np.ravel(x) 将x变为一维数组,“把 丶前的变量拉直 ”
- np.c_[数组1,数组2…] 使返回的间隔数值点配对
NN复杂度
-
NN复杂度:多层神经网络(NN)层数和 NN参数个数
-
空间复杂度:
层数 = 隐藏层层数+1个输出层
总参数 = 总w+总b -
空间复杂度:
乘加运算次数
学习率
指数衰减学习率:可以先用较大的学习率,快速得到较优解,然后逐步缩小学习率。使用魔仙在训练后期稳定
**指数衰减学习率** = 初始学习率 * 学习率衰减率 ^ (当前轮数/多少轮衰减一次 )
for epoch in range(epoch):
lr = LR_BASE * LR_DECAY ** (epoch/LR_STEP)
with tf.GradientTape() as tape:
loss = tf.square(w+1)
grads = tape.gradient(loss,w)
w.assign_sub(lr * grads)
print('After %s epoch ,w is %f ,lr is %f'%(epoch,w.numpy(),loss,lr))
激活函数
由于神经网络是对输入数据的线性组合(y=ax + b),所以需要激活函数来引入非线性因素。一般由非线性函数作为激活函数,可以大大增加模型的表达能力
优秀的激活函数
1、非线性:激活函数非线性时,多层神经网络可逼近所有的函数
2、可微性:优化器大部分是使用梯度下降来更新参数
3、单调性:当激活函数是单调的。能保证单层网络的损失函数是凸函数(更容易收敛)
4、近似恒等性:f(x) \approx xf(x)≈x . 当参数初始化为随机小值时,神经网络更稳定
激活函数输出值的范围
1、激活函数输出为有限值时,基于梯度优化方法更稳定(权重对特征的影响回更显著)
2、激活函数输出为无限值时(参数的初始值对模型的影响非常大),建议调小学习率
(这里有个问题,激活函数的输出什么时候是无限的)
为什么sigmoid函数不好用了
随着网络层数的增加。想要获取梯度信息就要用链式法则逐层求导。而sigmoid函数的倒数是 0 - 0.25之间的小
数,这样多层累加下来就会造成梯度消失。
Relu函数( tf.nn.relu(x) )
优点:
1、解决了梯度消失的问题 (在正区间解决),
2、只需判断输出是否大于0,计算速度快。(sigmoid和tanh都需要幂指计算)
3、收敛速度远远快于sigmoid和tanh
缺点:
1、输出非0均值,收敛慢(可以通过初始化参数时减少过多的负数参数送入relu)
2、神经元死亡问题:由于喂给Relu的神经元输出小于0的过多,造成相应的参数永远不能被更新(可通过设置更小的学习率,减少参数的巨大变化,避免训练中残生过多的负数特征进入Relu函数)
激活函数总结
1、首选relu激活函数
2、学习率设置较小值
3、输入特征标准化(让输入特征满足0为均值,1为标准差的正态分布)
4、初始参数中心化,既让随机生成的参数满足以0为均值,√(2/当前层输入特征个数)为标准差的正态分布。
损失函数(loss):
loss:预测值pred与已知答案(y_lable)的差距(这个定义只适用与有监督?)
NN优化目标:loss最小
1、均方误差(mse)
2、自定义
3、ce(cross Entropy)
CE(Cross Entropy):
CE表示两个概率分布之间的距离
H(y_,y) = -∑ y_ * lny (其中y_是标准答案的概率分布,y是预测结果的概率分布) 交叉熵越大,表示两个概率分布距离越远。越小,表示两个概率分布越近
tf.losses.categorical_crossentropy(y_, y)
Softmax 和交叉熵结合(分类问题时常用解决办法)
输出先经过softmax函数,再计算y’ 与y_的交叉熵损失函数
# tf中自带的可同时计算交叉熵损失函数和softmax
tf.nn.softmax_cross_entropy_with_logits(y_,y)