深度学习的历史
给定一个神经网络结构,也就是定义了一个函数集,给这个神经网络不同的权重也对应着不同的函数,我们要做的不断调整权重以找到我们想要的最好的函数
神经网络可以分为三部分,输入层,隐藏层,输出层,从字面自已我们大致可以知道,第一个层就是输入层,最后一层即输出层,在输入层与输出层之间的即为隐藏层
Deep的含义就是神经网络包含很多隐藏层,从下图大致可以看出神经网络越深,一般效果越好
每个神经元实际上是一个线性变换加上一个sigmoid函数(上一次笔记有讲),线性变换我们可以用矩阵运算来描述
于是整个神经网络是由好多线性变换和好多sigmoid函数组合而成
例如在手写数字辨识中我们可以用neural network来实现,通过输出来判别属于哪个数字
网络结构都需要自己设计
然后我们需要做的是找到一组参数,使得loss function最小
怎样计算Loss?当然还是之前采用的梯度下降的方法。