《机器学习》(周志华)学习笔记(五):神经网络
引言
上一篇学习了决策树这个常见的机器学习方法。首先对其基本概念进行理解,决策树包含根结点、内部结点和也结点,决策树的生成是一个递归过程,有三种情况会导致递归返回。接着讨论决策树如何进行属性划分优先选择,ID3决策树采用信息增益来判断,C4.5决策树采用增益率来判断,CART决策树采用基尼指数来选择。在划分属性时,还需要考虑到学习器过拟合的问题,应对的方法主要有“预剪枝”和“后剪枝”。最后,讨论了对于连续型属性的决策树生成方法(二分法)和缺失值时的处理方法(赋权值)。
本篇继续学习机器学习中另一个非常重要的算法:神经网络算法。
1.基本结构——神经元模型
神经网络是由相互连接的神经元构成的网络,能够模拟生物神经系统方对于外界做出的反应。
在生物神经网络中,每个神经元与其他神经元相连接,当它收到外界刺激时,就会向相连的神经元发送化学物质,从而改变这些神经元的生物电位,当电位超出一定阈值时,这些神经元就会被激活,接着向相连的其它神经元发送化学物质。这一生物神经元被抽象为简单的数学模型,即“M-P神经元模型”(M-P为创建模型的两个人)。这个数学模型可以用下图来表示。
神经元收到来自n个相连神经元的输入信号,这些输入信号各自带有权重。神经元接收到的信号的总和与神经元的阈值进行比较,通过激活函数处理产生输出,传递到与之相连的其他神经元。
理想的激活函数是阶跃函数,但由于其不连续的特性,实际常用Sigmiod函数代替。
2.感知机与多层网络
感知机是由两层神经元组成,输入层接收外界信号传给输出层(M-P神经元)。感知机可实现逻辑与、或、非运算,故又称“阈值逻辑单元”。 有两个输入神经元的感知机网络结构如下图所示。
在上图中,有
假设f是阶跃函数,以下面为例,常见的逻辑运算都可简单地实现。