【吃瓜教程】西瓜书+南瓜书 第五章 学习笔记

 吃瓜教材：

西瓜书：周志华老师的《机器学习》

南瓜书：《机器学习公式详解》第2版

吃瓜视频：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导

第五章 神经网络

5.1 神经元模型

目前使用的最广泛的神经网络的定义：神经网络是由具有适应性的简单单元组成的广泛并行的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

 M-P神经元模型：将上述情形抽象为图5.1所示的简单模型。

神经元收到来自n个其他神经元传递过来的输入信号，这些信号通过带权重的连接进行传递，神经元接收到的总输入值和神经元的阈值相比较，然后通过“激活函数”处理以产生神经元的输出。

若前者大于后者，神经元兴奋，输出1；反之，神经元抑制，输出0。 

单个M-P神经元：感知机（sgn作激活函数）；对数几率回归（sigmoid作激活函数）

多个M-P神经元：神经网络

5.2 感知机和多层网络

感知机模型：

感知机只能用于线性可分的数据集，是分类模型。

 例：

感知机策略：

感知机算法： 

 感知机能力有限，只能分类线性可分数据集，神经网络能分类线性不可分的数据集（通用近似定理）：只需要一个包含足够多神经元的隐层（输入层和输出层之间的一层神经元），多层前馈网络（最经典的神经网络之一）就能以任意精度逼近任意复杂度的连续函数。——神经网络自己找出来，目前还不知道神经网络具体怎么算出来的

5.3 误差逆传播算法

误差逆传播算法（BP算法）：

5.4 全局最小与局部极小

5.5 其他常见神经网络

本节提到的神经网络如今已不太常见，更常见的是下一节深度学习里提到的卷积神经网络、循环神经网络等。

5.6 深度学习

深度学习是深层的神经网络，是机器学习的子集。

以往机器学习时，描述样本的特征要人类设计，这称为“特征工程”，特征的好坏对泛化性能有重要影响，设计出好特征并非易事，而对于深度学习来说，“特征工程”会由神经网络自动完成，即让神经网络进行“特征学习”。