深度学习中的数学

函数

一次函数

$y=ax+b(a、b为常数，a\ne 0)a:斜率b:截距$

$y=a{x}_1+b{x}_2+c(a、b、c为常数，a\ne 0,b\ne 0)$

二次函数

$y=a{x}^2+bx+c(a、b、c为常数，a\ne 0)$

$y=a{x}_1^2+b{x}_1{x}_2+c{x}_2^2+p{x}_1+q{x}_2+r$

单位阶跃函数

$$u(x)=\{\begin{array}{ll}0& （x<0）\\ 1& (x\ge 0)\end{array}$$

指数函数与Sigmoid函数

$y=a^x$

$\sigma (x)=\frac{1}{1+e^{-x}}$

正态分布的概率密度函数

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}}$

$\mu :期望值(平均值),\sigma :标准差$

$当\mu =0，\sigma =1时，称为标准正态分布$

按照正态分布产生的随机数称为正太分布随机数，在神经网络的计算中，经常用到正态分布随机数作为初始值

向量

有两个点，A、B，我们考虑从A指向B的线段，这条具有方向的线段AB叫做有向线段。A为起点，B为终点。

向量是具有方向和大小的量

向量的大小$|a|$

$a=(3,4)|a|=\sqrt{3^2+4^2}=5$

$a=(1,2,2)|a|=\sqrt{1^2+2^2+2^2}$