深度学习-24:数值计算、梯度下降和最小二乘法
深度学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读!
机器学习或人工智能中会使用大量的数值计算,使用迭代算法计算估计值来解决既定约束的数学问题,而非使用严格的解析过程推导出公式来解决数据问题。
数值上溢和数值下溢
通过有限位宽的数字存储器存储无限多的实数,无可避免的导致舍入精度的问题。如果系统反复迭代工作,如何系统没有考虑舍入误差的累积,最终会出现输入误差的上溢或下溢。必须对上溢和下溢进行数值稳定的典型案例是: softmax函数,softmax函数经常应用于预测与Multinouli分布相关联的概率,定义为:
s
o
f
t
m
a
x
(
x
)
i
=
e
x
p
(
x
i
)
/
∑
n
=
1
N
e
x
p
(
x
i
)
softmax(x)_i= exp(x_i)/\sum_{n=1}^Nexp(x_i)
softmax(x)i=exp(xi)/n=1∑Nexp(xi)
基于梯度下降法
大多数的深度学习算法都涉及某种形式的优化,优化目标是最大化或最小化f(x)。我们将最大化或最小化的函数称为目标函数或准则。当我们对其进行最小化时,也将其称为代价函数、损失函数或误差函数。
最小二乘法
假设我们希望最小化下面方程式的x值
f
(
x
)
=
1
/
2
∣
∣
A
x
−
b
∣
∣
2
2
f(x)=1/2||Ax-b||_2^2
f(x)=1/2∣∣Ax−b∣∣22
系列文章
参考文献
- [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
- [2] 焦李成等. 深度学习、优化与识别. 清华大学出版社. 2017.
- [3] 佩德罗·多明戈斯. 终极算法-机器学习和人工智能如何重塑世界. 中信出版社. 2018.
- [4] 雷.库兹韦尔. 人工智能的未来-揭示人类思维的奥秘. 浙江人民出版社. 2016.