西瓜书学习第五章---神经网络

一、神经网络简介

定义： 普遍采用的定义是“神经网络是指具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反映”

1.1 神经元模型

生物神经网络： 各神经元之间相互连接，某一个神经元兴奋的时候，就会向临近的神经元发送能够改变其电位的化学物质，如果这些神经元的电位超过一个固定的值，那么就会变成激活态，向自己相连的神经元发送一样的化学物质，以此类推，直至产生最终结果
人工神经网络： 人工神经网络里面的神经元模型使用最广泛的是M-P神经元模型 ，这一模型是生物神经网络的抽象表示，即某一神经元收到来自其他神经元传递的输入数据，这些数据是样本数据和连接权重的线性组合，神经元在收到这些数据之后与自身的阈值所比较，满足条件之后通过激活函数对计算结果进行逼近，M-P神经元模型的图解如下：

激活函数： 激活函数可以将输入的线性关系映射成非线性关系或者更加复杂的关系，使神经网络能够逼近任意非线性函数，让我们的神经网络能够处理更加复杂的问题

1. 理想中的激活函数
   理想的激活函数可以直接将输入数据映射为0或者1，这种函数被成为阶跃函数

但是阶跃函数是一种分段函数，且不够光滑，对神经网络的优化并不方便
2. 使用较为广泛的是sigmoid函数 ，这是一种能够将很大的数值压缩到（0,1）之间的函数，函数图像如图：

3. 目前常用的激活函数还有ReLU(修正线性单元）

其图像为：

ReLU函数 受到欢迎的主要原因是其训练较为简单，而且在求导的过程中表现的很好，其导数形式为：

可以看出其在求导的时候要么直接保留参数，要么通过0将参数消失，可以在优化的过程中取得更好地效果
上述两张图片来源于网络https://blog.csdn.net/qq_58462637/article/details/123671428

1.2 神经网络的工作模式

将许多个包含激活函数的神经元按照一定的方式连接起来，比如二部图方式，全连接方式等等，就组成了神经网络，事实上我们可以将神经网络看做一个包含了很多参数的数学模型，这个模型是由许多函数互相嵌套组合而成的

二、感知机与多层网络

2.1 感知机

基本概念： 传统感知机的结构是非常简单的，只包含两层神经元——输入层和输出层，输出层的神经元模式是传统的M-P模式，输出层负责接收外部信号，具体如下图：

图2.1 感知机模型

感知机的训练 ：给定训练集之后，通过权重更新规则在迭代过程中调整权重，从而训练出权重w以及阈值 $\theta$ ，具体的更新规则如下，其中 $\eta$是学习率，通常设为0.1，$\tilde{y}$是感知机的输出
$$\begin{array}{r}{}_{w_i}{\leftarrow }_{{}_{w_i}}+{\Delta }_{w_i}\\ {}_{w_i}=\eta \left(y-\tilde{y}\right)x_i\end{array}\text{\hspace{1em}(1)}$$