西瓜书-机器学习5.2 感知机与多层网络

假期学习，随手记录，没有章法。

ch5 神经网络

5.2 感知机与多层网络

一般地，给定训练数据集,权重 以及阈值可以通过学习得到。

<Q> 阈值作为一个固定输入为-1.0的“哑结点”所对应的连接权重，这样权重和阈值的学习统一为权重的学习。

from: https://blog.csdn.net/x55x5/article/details/82493185

“哑结点”:

哑节点（dummy Node）是一个被人为创建的节点，虽然其内容为NULL，但是它在堆中有占有一定的空间。
哑节点的使用可以避免边界问题的处理，达到简化代码与减少代码出错可能性的目的。

! 设置为-1，为了边界问题处理，right?

 

演变为权重的学习。

感知机学习规则：

训练样列, 改知机的输出为， 感知机权重将这样调整：

成为学习率(learing rate).  通常设置为一个小正数，例如0.1。

如果预测正确， 感知机不发生变化。

感知机一层功能神经元，学习能力差。解决：线性可分问题。

存在一个平面，学习过程收敛【图5.1 ～ 5.3】，

否则，会发生震荡(fluctuation), w 不能稳定下来，不能求得合适解【图5.5】。

---

解决非线性可分问题，用多层功能神经元。

图5.5， 隐含层和输出层都有激活函数的功能神经元。

参考https://blog.csdn.net/jona1987/article/details/91045886

计算图5.5

多层级结构：每层与下层全互连；同层无连接。无跨层连接。-- 多层前馈神经网络（multi-layer feedforward neural networks)，

前馈：是指网络拓扑结构上不存在环或者回路。

神经网络的学习过程，是根据训练数据调整神经元之间的“连接权”(connetion weight)及每个功能神经元的阈值。