复杂度，学习率

神经网络（NN）复杂度

在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，
NN复杂度；多用NN层数和NN参数表示
空间复杂度；
层数=隐藏层层数数+1个输出层
时间复杂度：
乘加运算次数

学习率

指数衰减学习率
先用较大的学习率，快速得到较优解，然后逐步减小学习率，使模型在训练后期稳定
指数衰减学习率=初始学习率+学习率衰减率（当前轮数/多少轮衰减一次）

操作代码

import tensorflow as tf

w = tf.Variable(tf.constant(5, dtype=tf.float32)<