《机器学习》（周志华）学习笔记（五）：神经网络

引言

上一篇学习了决策树这个常见的机器学习方法。首先对其基本概念进行理解，决策树包含根结点、内部结点和也结点，决策树的生成是一个递归过程，有三种情况会导致递归返回。接着讨论决策树如何进行属性划分优先选择，ID3决策树采用信息增益来判断，C4.5决策树采用增益率来判断，CART决策树采用基尼指数来选择。在划分属性时，还需要考虑到学习器过拟合的问题，应对的方法主要有“预剪枝”和“后剪枝”。最后，讨论了对于连续型属性的决策树生成方法（二分法）和缺失值时的处理方法（赋权值）。
本篇继续学习机器学习中另一个非常重要的算法：神经网络算法。

1.基本结构——神经元模型

神经网络是由相互连接的神经元构成的网络，能够模拟生物神经系统方对于外界做出的反应。
在生物神经网络中，每个神经元与其他神经元相连接，当它收到外界刺激时，就会向相连的神经元发送化学物质，从而改变这些神经元的生物电位，当电位超出一定阈值时，这些神经元就会被激活，接着向相连的其它神经元发送化学物质。这一生物神经元被抽象为简单的数学模型，即“M-P神经元模型”（M-P为创建模型的两个人）。这个数学模型可以用下图来表示。

神经元收到来自n个相连神经元的输入信号，这些输入信号各自带有权重。神经元接收到的信号的总和与神经元的阈值进行比较，通过激活函数处理产生输出，传递到与之相连的其他神经元。
理想的激活函数是阶跃函数，但由于其不连续的特性，实际常用Sigmiod函数代替。

2.感知机与多层网络

感知机是由两层神经元组成，输入层接收外界信号传给输出层（M-P神经元）。感知机可实现逻辑与、或、非运算，故又称“阈值逻辑单元”。 有两个输入神经元的感知机网络结构如下图所示。

在上图中，有
假设f是阶跃函数，以下面为例，常见的逻辑运算都可简单地实现。