机器学习 task 4

机器学习 task 4

神经网络

神经网络：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应

• 最基本的成分：神经元(neuron)模型

• M-P神经元模型

• • 神经元接收到来自 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UOsbIYcP-1656255973885)(https://www.zhihu.com/equation?tex=n)] 个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数(activation function)/挤压函数(squashing function)处理以产生神经元的输出

感知机与多层网络

感知机(perceptron)：由输入层和输出层组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。亦称为“阈值逻辑单元”（threshold logic unit）.

更一般地, 给定训练数据集, 权重 $w_i(i=1,2,\dots ,n)$ 以及阈值 $\theta$ 可通过学 习得到. 阈值 $\theta$ 可看作一个固定输入为 $-1.0$ 的 “哑结点” (dummy node) 所对 应的连接权重 $w_{n+1}$, 这样, 权重和阈值的学习就可统一为权重的学习. 感知机 学习规则非常简单, 对训练样例 $(\mathbf{x},y)$, 若当前感知机的输出为 $\hat{y}$, 则感知机权 重将这样调整:
$$\begin{array}{c}{w}_i\leftarrow w_i+\Delta w_i,\\ \Delta w_i=\eta (y-\hat{y})x_i,\end{array}$$
其中 $\eta \in (0,1)$ 称为学习率(learning rate). 从式(5.1) 可看出, 若感知机对训练 样例 $(\mathbf{x},y)$ 预测正确, 即 $\hat{y}=y$, 则感知机不发生变化, 否则将根据错误的程度 进行权重调整.

误差逆传播算法

多层网络的学习能力比单层感知机强得多。误差逆传播BP算法：BP算法不仅可用于多层前馈神经网络，还可用于训练递归神经网络，BP网络：BP算法训练的多层前馈神经网络。