M-P 神经元
M-P神经元：接收n个输入，并给各个输入赋予权重计算加权和，然后和自身特有的阈值
θ
\theta
θ进行比较，最后经过激活函数处理得到输出。
y
=
f
(
∑
i
=
1
n
w
i
x
i
−
θ
)
=
f
(
w
T
x
+
b
)
y=f(\sum_{i=1}^{n}w_ix_i-\theta )=f(\mathbf{w} ^T\mathbf{x} +b)
y=f(i=1∑nwixi−θ)=f(wTx+b)
通用近似定理
只需一个包含足够多神经元的隐层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数。
多层前馈网络
每层神经元和下一层神经元全部互连，神经元之间不存在同层连接，也不存在跨层连接。
在模型训练过程中，神经网络自动学习提取有用的特征，因此机器学习向全自动数据分析又前进了一步。
对于回归任务，损失函数常选用均方误差；对于分类任务，损失函数常选用交叉熵。
误差逆传播算法
基于随机梯度下降的参数更新方法：
w
←
w
+
△
w
▽
w
=
−
η
▽
w
E
w\gets w+\bigtriangleup w \\ \bigtriangledown w=-\eta \bigtriangledown _w E
w←w+△w▽w=−η▽wE
E
E
E为损失函数，
η
\eta
η为学习率。
参考文献：
- 《机器学习》周志华著 清华大学出版社
- Datawhale开源学习课程https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
