神经网络——西瓜书笔记

神经网络——西瓜书笔记

1. 神经元模型

   ​ 神经网络中最基本的成分是神经模型，即“简单”单元。现在一直沿用的是“M-P神经元模型“，在这个模型中， 神经元接收到来自$n$个其他神经元传递过来的输入信号， 这些输入信号通过带权重的连接进行传递， 神经元接收到的中输入值与神经元的阈值进行比较，然后通过激活函数处理产生神经元的输出。

   ​ 理想的激活函数是 阶跃函数， 但是由于阶跃函数 不连续、不光滑的性质， 因此实际常用 Sigmoid 函数作为 激活 函数。

2. 感知机和多层网络

   ​ 感知机由两层神经元组成， 输入层接收外界信号后传递给输出层， 输出层是 M-P神经元， 也称“阈值逻辑单元”。

   ​ 感知机容易地实现逻辑与、或、非运算。注意到$y=f({\sum }_i{w}_i{x}_i-\theta )$,假设$f$是上图中的阶跃函数，有：

   • ”与“：令$w_1=w_2=1,\theta =2$，则$y=f(1\ast x_1+1\ast x_2-2)$, 仅当$x_1=x_2=1$时， $y=1$;
   • “或”：令$w_1=w_2=1,\theta =0.5$, 则$y=f(1\ast x_1+1\ast x_2-0.5)$仅当$x_1=1$或$x_2=1$时， $y=1$;
   • “非”：令$，w_1=0.6，w_2=0,\theta =-0.5$，则$y=f(-0.6\ast x_1+0\ast x_2+0.5)$, 仅当$x_1=1$时，$y=0$；$x_2=0$时， $y=1$;

   感知机学习规则非常简单， 对训练样例$(x,y)$, 若当前感知机的输出为$\hat{y}$, 则感知机权重将这样调整：
   $$w_i\leftarrow w_i+\Delta w_i\text{\hspace{1em}(1)}$$

   (2) Δ w i = η ( y − y ^ ) x i \Delta w_i = \eta(y - \hat{y})x_i\tag{2}