0.引言
神经网络本质类似于极大似然估计:模型已经确定,参数未知;对模型的求解就是利用观测值来求解模型的参数。
1.感知机 MP 模型
注意损失函数是针对误分类样本点而言的.
举例:
现有如下训练数据集,正样本点
M
1
(
3
,
3
)
M_1(3,3)
M1(3,3) 和
M
2
(
4
,
3
)
M_2(4,3)
M2(4,3) ,负样本点
M
3
(
1
,
1
)
M_3(1,1)
M3(1,1) ,请利用感知机算法求感知机模型
f
(
x
)
=
s
i
g
n
(
w
T
x
+
b
)
f(x) = sign(w^Tx + b)
f(x)=sign(wTx+b).
在第五步选择不同的误分类点,最后得出的模型也不相同,但都能正确的将样本进行区分开。
2.神经网络
- 在线demo,普通的单层感知机,无法解决非线性问题。
Q:为什么多层神经网络可以拟合任意函数?其与浅层宽网络的区别是什么?
- 从感知机的角度看
- 从决策边界的角度看
3.反馈网络(BP)
其他推导类似,最后结果:
这个推导就不推导了,就是一些链式法则,和前面的推导一样的。
- 此图来源.