北京大学 深度学习入门课程笔记

预备知识

1、tf.where(条件语句，A，B)
条件为真返回A，否则返回B。类似于C语言中的三目运算符。另外，tensorflow中张量元素在tf.greater()的运算中是逐个元素比较。
2、np.random.RandomState.rand(维度)
返回一个[0,1)之间的随机数，维度为空，返回标量。
3、np.vstack(数组1，数组2)
将两个数组按垂直方向叠加，形成矩阵
4、np.mgrid[] .ravel() np.c_[]
用于形成网格坐标
np.mgrid[起始值：结束值：步长，起始值：结束值：步长，...]
.ravel() 变为一维数组
np.c_[数组1，数组2,...] 将返回的间隔数值点配对

神经网络复杂度（NN复杂度）

包括时间复杂度和空间复杂度

1、时间复杂度：指的是乘加运算次数 ，主要是每层神经元之间的权重运算
2、空间复杂度：指的是层数与总参数个数（包括权重与偏项值）

参数更新公式以及学习率

w(t+1) = w(t) - lr* (偏导loss/w(t))

指数衰减学习率
先用较大的学习率，快速得到较优解，然后逐步减少学习率

指数衰减学习率= 初始学习率 * 学习率衰减率^(当前轮数/多少轮衰减1次)

激活函数

待续。。。。