西瓜书南瓜书第五章随记

M—P神经元（模拟生物行为的数学行为）：接受N个输入，权重计算加权和，然后和自身阈值进行比较，最后经过激活函数（单个：感知机，对数几率回归
多个：神经网络）
感知机：激活函数为阶跃函数的神经元。【只能解决线性可分的模型】
感知机的损失函数是非负的，没有误分则为0。具体采用随机梯度下降法，每次随机选取一个误分类点，所以权重W一般不确定。
神经网络可以分类线性不可分的数据集（通用近似定理），且不需要复杂的特征工程。（以任意精度逼近任意复杂度的连续函数）
将神经网络看做一个特征加工函数：1.单输出回归：后接一个一维神经元
2.后面接一个二维神经元
模拟训练过程中，神经网络自动提取有用的特征
误差逆传播算法（BP算法）：基于随机梯度下降的参数更新算法。不能保证一定能走到全局最小值点，更多情况下走到局部极小值点