吃瓜教材:
西瓜书:周志华老师的《机器学习》
南瓜书:《机器学习公式详解》第2版
吃瓜视频:【吃瓜教程】《机器学习公式详解》(南瓜书)与西瓜书公式推导
第五章 神经网络
5.1 神经元模型
目前使用的最广泛的神经网络的定义:神经网络是由具有适应性的简单单元组成的广泛并行的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
M-P神经元模型:将上述情形抽象为图5.1所示的简单模型。
神经元收到来自n个其他神经元传递过来的输入信号,这些信号通过带权重的连接进行传递,神经元接收到的总输入值和神经元的阈值相比较,然后通过“激活函数”处理以产生神经元的输出。
若前者大于后者,神经元兴奋,输出1;反之,神经元抑制,输出0。
单个M-P神经元:感知机(sgn作激活函数);对数几率回归(sigmoid作激活函数)
多个M-P神经元:神经网络
5.2 感知机和多层网络
感知机模型:
感知机只能用于线性可分的数据集,是分类模型。
例:
感知机策略:
感知机算法:
感知机能力有限,只能分类线性可分数据集,神经网络能分类线性不可分的数据集(通用近似定理):只需要一个包含足够多神经元的隐层(输入层和输出层之间的一层神经元),多层前馈网络(最经典的神经网络之一)就能以任意精度逼近任意复杂度的连续函数。——神经网络自己找出来,目前还不知道神经网络具体怎么算出来的
5.3 误差逆传播算法
误差逆传播算法(BP算法):
5.4 全局最小与局部极小
5.5 其他常见神经网络
本节提到的神经网络如今已不太常见,更常见的是下一节深度学习里提到的卷积神经网络、循环神经网络等。
5.6 深度学习
深度学习是深层的神经网络,是机器学习的子集。
以往机器学习时,描述样本的特征要人类设计,这称为“特征工程”,特征的好坏对泛化性能有重要影响,设计出好特征并非易事,而对于深度学习来说,“特征工程”会由神经网络自动完成,即让神经网络进行“特征学习”。