感知机(Perceptron)和多层感知机(Multi-Layer Perceptron)
AI-第五期-DarkRabbit
之前并未做过笔记,所以这篇文章是对以下内容回顾,对应:
- 第六周:(02)感知机
- 第六周:(03)多层感知机和反向传播
- 维基百科(en)“Backpropagation” 词条
- 《机器学习》(西瓜书):第5章 神经网络 - 5.1 神经元模型
- 《机器学习》(西瓜书):第5章 神经网络 - 5.2 感知机与多层网络
- 《机器学习》(西瓜书):第5章 神经网络 - 5.3 误差逆传播算法
依然公式比较多,CSDN的app会显示不正常(乱码),请用其它任意方式浏览。
目录
1 感知机(Perceptron)
1.1 过程
inputs(bottom) -> weights -> weighted sum -> step function -> output(top)
y=f(W⋅X+b) y = f ( W ⋅ X + b )
step function(activation function)(激活函数):
f(x)={
10x>0x≤0 f ( x ) = { 1 x > 0 0 x ≤ 0
1.2 前馈计算
- weighted sum: logit=ω0x0+ω1x1+⋯+ωnxn l o g i t = ω 0 x 0 + ω 1 x 1 + ⋯ + ω n x n
- 其中 ω0=b(bias,偏置),x0=1 ω 0 = b (bias,偏置) , x 0 = 1
- 记 ω=[ω0,ω1,⋯,ωn],x=[x0,x1,x2,⋯,xn] ω = [ ω 0 , ω 1 , ⋯ , ω n ] , x = [ x 0 , x 1 , x 2 , ⋯ , x n ] 则 logit=ω⋅x l o g i t = ω ⋅ x
- step function: output=f(logit),f(x)={ 10x>0x≤0 o u t p u t = f ( l o g i t ) , f ( x ) = { 1 x > 0 0 x ≤ 0
1.3 逻辑运算
感知器可以进行简单的逻辑运算(不包含异或)。
可以运用真值表进行运算。
逻辑与:
真值表:
x1 x 1 x2 x 2 output 1 1 1 1 0 0 0 1 0 0 0 0 由真值表和 step function 得出的不等式方程组:
⎧⎩⎨⎪⎪⎪⎪1×ω1+1×ω2+b>01×ω1+0×ω2+b≤00×ω1+1×ω2+b≤00×ω1+0×ω2+b≤0⟹⎧⎩⎨⎪⎪⎪⎪b>−(