5 神经网络复杂度及学习率

1.神经网络（NN）的复杂度：多用其层数和参数的个数表示。

空间复杂度=层数+总参数

层数=隐藏层数+1个输出层   2=1+1（下图）

总参数= 总的权重数+总的偏置个数    3x4+4(1层)+4x2+2（2层）=26  （下图）

时间复杂度：乘加运算的次数     3x4(1层)+4x2（2层）=20  （下图）

2.学习率（lr): 参数更新的幅度，可以先使用较大的学习率，快速得到较优解，然后逐步减小学习率，使模型在训练后期稳定。

指数衰减学习率=初始学习率*学习率衰减率的（当前轮数/多少轮衰减一次）次方

import tensorflow as tf

w = tf.Variable(tf.constant(5, dtype=tf.float32))

epoch = 40
LR_BASE = 0.2  # 最初学习率
LR_DECAY = 0.99  # 学习率衰减率
LR_STEP = 1  # 喂入多少轮BATCH_SIZE后，更新一次学习率

for epoch in range(epoch):  # for epoch 定义顶层循环，表示对数据集循环epoch次，此例数据集数据仅有1个w,初始化时候constant赋值为5，循环100次迭代。
    lr = LR_BASE * LR_DECAY ** (epoch / LR_STEP)
    with tf.GradientTape() as tape:  # with结构到grads框起了梯度的计算过程。
        loss = tf.square(w + 1)
    grads = tape.gradient(loss, w)  # .gradient函数告知谁对谁求导

    w.assign_sub(lr * grads)  # .assign_sub 对变量做自减 即：w -= lr*grads 即 w = w - lr*grads
    print("After %s epoch,w is %f,loss is %f,lr is %f" % (epoch, w.numpy(), loss, lr))