人工神经网络
寒冬
感知器算法并没有将神经网络推向高潮，而且感知器算法只对线性可分的有用。但是我们大多数据都是不可分的。
图片在计算机中的存储：
初步产生了解决非线性可分的方案。
多层神经网络
多层神经网络结构
如果不加非线性函数，我们的y依旧是线性的形式。
也就是说，如果层与层之间不加非线性函数，那么多层神经网络将会退化到一个神经元的感知器模型状态。
其实也很好理解，如果都是线性的那么就都可以合并，自然会退化到一层。
非线性函数有哪些？
梯度下降
网络的设计
日常中我们不知道决策函数是什么，只知道样本空间中的一些样本，我们不知道决策函数的具体形式，所以我们也不知道表征这个决策函数的神经网络结构是什么。
所以我们只能采取这样的方法：
我们就可以将网络设计的简单一点，层数少一点。
我们的层数和神经元的个数就要更多一点，这样产生的非线性函数才能更加复杂，才能捕捉到样本的变化。
算法模型的复杂度要和训练模型的复杂度匹配。
优化参数
Y是X的标签，y是神经网络的输出。
梯度下降法：
求解一个局部最小值的算法。
a是学习率，也就是步长
2120
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
