Datawhale开源组队学习 & 《机器学习》第五章 神经网络【思维导图版】

第五章 神经网络

【思维导图】

定义

由具有适应性的“简单单元”组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做的交互反应。

M-P神经元

（由McCulloch and Pitts 提出）

INPUT: n个其他神经元 X 带权重的连接

OUTPUT：Function of （总输入值 - 神经元阈值）——经处理函数处理后的结果

感知机

感知机模型是一种单个的M-P模型，激活函数是sgn(阶跃函数)的神经元。

数学角度

• 感知机（sgn作为激活函数），对数几率回归（sigmond）作为f(·)，利用sigmond函数尽量将模型的输出值与真实标记逼近。

几何角度

• 求得数据集T中的正负样本完全正确划分的超平面。

感知机的学习策略

• 1. 随机初始化w, b, 将全部训练样本代入模型，找出误分类样本，假设此时误分类样本集合为M ∈ T.
• 2. 对于 任意一个误分类样本(x, y) ∈ M 来说，当
     时，模型输出值为y _ hat = 1 ，样本真实标记为 y = 0；反之，当 时，
     模型输出值为 y_hat = 0 ，样本真实标记为 y = 1。综合两种情形可知，如下公式成立且不等式左侧值越小越好。
• 3. 综合上述情况，其损失函数可定义为如下所示，且如果没有误分类点，损失函数值是0。而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。

神经网络

多个神经元构成，可以划分分类线性不可分的数据集，且根据通用近似定理——只需一个包含足够多神经元的隐层，神经网络（例如经典的多层前馈网络）就能以任意精度逼近任意复杂度的连续函数。

特点&优点

• 做回归
• 做分类

XMind: ZEN - Trial Version