2.1 常见函数
tf.where(条件语句,真则返回A,假返回B)
np.random.RandomState.rand(维度)——返回[0,1)之间的随机数。维度为空,返回标量。若括号内为seed=常数,含有该种子处生成的随机数相同
np.vstack(数组1,数组2)——将两个数组按垂直方向叠加
形成网格:
np.mgrid[起始值:结束值:步长,起始值:结束值:步长,...]——[起始值,结束值)生成等差数列
x.ravel()——将x变为一维数组,“把.前的变量拉直”
np.c_[数组1,数组2,...]——配对输出
2.2 神经网络参数及学习率更新
2.3 激活函数
sigmoid梯度消失:导数范围在[0,0.25],链式求导需多层导数连续相乘,结果→0,产生梯度消失,使得参数无法继续更新。
解决梯度消失:激活函数具备近似恒等性
解决神经元死亡:改进随机初始化,避免过多负数送入relu;设置更小的学习率,避免参数变化过大,避免产生过多负数特征