人工神经网络
寒冬
感知器算法并没有将神经网络推向高潮,而且感知器算法只对线性可分的有用。但是我们大多数据都是不可分的。
图片在计算机中的存储:
初步产生了解决非线性可分的方案。
多层神经网络
多层神经网络结构
如果不加非线性函数,我们的y依旧是线性的形式。
也就是说,如果层与层之间不加非线性函数,那么多层神经网络将会退化到一个神经元的感知器模型状态。
其实也很好理解,如果都是线性的那么就都可以合并,自然会退化到一层。
非线性函数有哪些?
梯度下降
网络的设计
日常中我们不知道决策函数是什么,只知道样本空间中的一些样本,我们不知道决策函数的具体形式,所以我们也不知道表征这个决策函数的神经网络结构是什么。
所以我们只能采取这样的方法:
我们就可以将网络设计的简单一点,层数少一点。
我们的层数和神经元的个数就要更多一点,这样产生的非线性函数才能更加复杂,才能捕捉到样本的变化。
算法模型的复杂度要和训练模型的复杂度匹配。
优化参数
Y是X的标签,y是神经网络的输出。
梯度下降法:
求解一个局部最小值的算法。
a是学习率,也就是步长