从异或问题到前馈神经网络 (from XOR problem to FNN)

【参考资料】
1.B站:机器学习-白板推导系列(二十三)-前馈神经网络(Feedforward Neural Network)
在这里插入图片描述

关于非线性问题 Non-Linear Problem
有以下三种常见的解决方法

1 Non-Linear Transformation 非线性转化

ϕ : X → Z \phi:\mathcal{X}\to \mathcal{Z} ϕ:XZ

即构造函数 ϕ \phi ϕ,将 input space X \mathcal{X} X 转化成 feature space Z \mathcal{Z} Z
通常是由低维至高维的装换 (高维特征往往更加容易线性可分)

2 Kernel Method

κ ( x , x ′ ) = < ϕ ( x ) , ϕ ( x ′ ) > \kappa(x,x')=<\phi(x),\phi(x')> κ(x,x)=<ϕ(x),ϕ(x)>

核方法可以视作隐藏的非线性转化

3 Neural Network

以异或问题为例
异或问题 (XOR ⊕ \oplus ) 是一个典型的线性不可分的问题

而基本运算 AND: ∧ \land , OR: ∨ \lor , NOT: ¬ \neg ¬ 都是线性可分的

将基本运算符进行组合,我们可以表示出符合运算符 XOR

x 1 ⊕ x 2 = ( ¬    x 1 ∧ x 2 ) ∨ ( x 1 ∧ ¬    x 2 ) x_1\oplus x_2=(\neg\; x_1 \land x_2)\lor(x_1 \land \neg\; x_2) x1x2=(¬x1x2)(x1¬x2)

推导
x 1 ⊕ x 2 → 1 x_1\oplus x_2\to1 x1x21
那么 x 1 , x 2 = { 1 , 0 ( 1 ) 0 , 1 ( 2 ) x_1, x_2=\begin{cases} 1, 0 &(1)\\ 0, 1 &(2) \end{cases} x1,x2={1,00,1(1)(2), 因此 x 1 ⊕ x 2 = ( 1 ) ∨ ( 2 ) x_1\oplus x_2=(1)\lor (2) x1x2=(1)(2)
对于 ( 1 ) : 1 , 0 → 1 (1):1,0\to1 (1):1,01 可以类比于 AND ( 1 , 1 → 1 1,1\to1 1,11) (这里只有一种对应情况,和 AND 很类似,而 OR 则有三种对应情况)
因此 ( 1 ) : x 1 ∧ ¬    x 2 → 1 (1):x_1\land \neg \;x_2\to1 (1):x1¬x21
同理 ( 2 ) : ¬    x 1 ∧ x 2 → 1 (2):\neg\;x_1\land x_2\to1 (2):¬x1x21
最终可得 x 1 ⊕ x 2 = ( ¬    x 1 ∧ x 2 ) ∨ ( x 1 ∧ ¬    x 2 ) x_1\oplus x_2=(\neg\; x_1 \land x_2)\lor(x_1 \land \neg\; x_2) x1x2=(¬x1x2)(x1¬x2)

如果把以上推导以图的形式展现,就得到了一个最简单的神经网络
在这里插入图片描述
如果在给每层都加上一个 bias unit,就可以得到一个简单的多层感知机 MLP,也叫前馈神经网络 FNN
在这里插入图片描述

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

江湖留名

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值