自己看的，西瓜书第五章笔记

5.1 M-P神经元模型

M-P神经元(一个用来模拟生物行为的数学模型) :接收n个输入(通常是来自其他神经元)，并给各个输入赋予权重计算加权和，然后和自身特有的阈值0进行比较(作减法)，最后经过激活函数(模拟‘ 抑制”和“激活”)处理得到输出(通常是给下一个神经元)

单个M-P神经元:感知机(sgn作激活函数)，对数几率回归(sigmoid作激活函数)
多个M-P神经元:神经网络

5.2 感知机

由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

从几何角度来说，给定一个线性可分的数据集T,感知机的学习目标是求得能对数据集T中的正负样本完全划分的超平面，其中$$w^{T}x-\theta$$即为超平面方程。
感知机学习策略:随机初始化w, b,将全体训练样本代入模型找出误分类样本，假设此时误分类样本集合为M∈T,对任意一个误分类样本(x,y)∈M来说，当超平面方程大于0时，模型输出值为y = 1,样本真实标记为y= 0;反之，当超平面方程小于0时,模型输出值为y= 0，样本真实标记为y= 1。
所以，给定数据集T，其损失函数可以定义为:
$$L(w,\theta )=\sum (\hat{y}-y)(w^{T}x-\theta )$$显然，此损失函数是非负的。如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。
感知机学习算法:当误分类样本集合M固定时，那么可以求得损失函数L(w )的梯度为
$$▽wL(w)=\sum (\hat{y}-yi)xi$$

感知机的学习算法具体采用的是随机梯度下降法，也就是极小化过程中不是-次使M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。所以权重w的更新公式为$$w\leftarrow w+△w$$
$$△w=-\eta (\hat{y}i-y)xi=\eta (yi-\hat{y})xi$$
感知机能容易的实际逻辑与、或、非运算，即可以解决线性可分的问题，
实现不了异或运算，即无法解决非线性可分问题.

5.3 多层前馈神经网络

每层神经元与下一层神经元全互连，神经元之间不存在同层链接，也不存在跨层链接。