神经网络基础知识之感知机

神经网络基础知识

感知机

感知机是第一个人工神经元，其公式:$O=\sigma (<w,x>+b)$ 其中$O$表示输出，$\sigma$ 表示激活函数，$<w,x>$ 表示矩阵相乘，$b$为偏置。该感知机输出为1或0，是一个传统的二分类模型。但是感知机有致命缺陷，即感知机无法解决异或问题。
​简单证明即：假设模型输入为X₀ 、X₁，则：
$$O=\sigma (X_0\ast W_0+X_1\ast W_2+b)$$不考虑激活函数，则有：
$$\begin{gathered} O^{\prime }=X_0\ast W_0+X_1\ast W_2+b \\ {X}_1=-\frac{W_0}{W_1}\ast X_0+{\frac{O}{W}}_1-{\frac{b}{W}}_1 \end{gathered}$$将上式看作X₁关于X₀的数学表达式，满足直线方程的表达式：$y=k\ast x+b$，加上激活函数的作用，简单的感知机在二维平面内，可以表达为一条线。而对于异或问题而言，无法用简单的一条线将其区分，故感知机无法解决异或问题。为了解决单一感知机的致命缺陷，出现了多层感知机，多层感知机基本模型如下：$$\begin{gathered} \sigma (X_{1\ast 3}\ast W_{3\ast 4})=H_{1\ast 4} \\ \sigma (H_{1\ast 4}\ast W_{4\ast 2})=O_{1\ast 2} \end{gathered}$$
需要特别注意的是，当不存在激活函数时，多层感知机将退化为单层，推导如下：
H = X ∗ W