函数
一次函数
y = a x + b ( a 、 b 为 常 数 , a ≠ 0 ) a : 斜 率 b : 截 距 y=ax+b \qquad (a、b为常数,a\neq0) \qquad a:斜率 b:截距 y=ax+b(a、b为常数,a=0)a:斜率b:截距
y = a x 1 + b x 2 + c ( a 、 b 、 c 为 常 数 , a ≠ 0 , b ≠ 0 ) y=ax_1 + bx_2 + c \qquad (a、b、c为常数,a\neq0,b\neq0) y=ax1+bx2+c(a、b、c为常数,a=0,b=0)
二次函数
y = a x 2 + b x + c ( a 、 b 、 c 为 常 数 , a ≠ 0 ) y=ax^2 + bx + c (a、b、c为常数,a\neq0) y=ax2+bx+c(a、b、c为常数,a=0)
y = a x 1 2 + b x 1 x 2 + c x 2 2 + p x 1 + q x 2 + r y=ax_1^2 + bx_1x_2 + cx_2^2 + px_1 + qx_2 + r y=ax12+bx1x2+cx22+px1+qx2+r
单位阶跃函数
u ( x ) = { 0 ( x < 0 ) 1 ( x ≥ 0 ) u(x)=\begin{cases}0 & (x < 0) \\ 1 & (x\geq0) \end{cases} u(x)={ 01(x<0)(x≥0)
指数函数与Sigmoid函数
y = a x y=a^x y=ax
σ ( x ) = 1 1 + e − x \sigma(x)=\frac{1}{1 + e^{-x}} σ(x)=1+e−x1
正态分布的概率密度函数
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ {(x-\mu)}^2}{2\sigma^2}} f(x)=2πσ1e−2σ2(x−μ)2
μ : 期 望 值 ( 平 均 值 ) , σ : 标 准 差 \mu:期望值(平均值),\sigma:标准差 μ:期望值(平均值),σ:标准差
当 μ = 0 , σ = 1 时 , 称 为 标 准 正 态 分 布 当\mu=0,\sigma=1时,称为标准正态分布 当μ=0,σ=1时,称为标准正态分布
按照正态分布产生的随机数称为正太分布随机数,在神经网络的计算中,经常用到正态分布随机数作为初始值
向量
有两个点,A、B,我们考虑从A指向B的线段,这条具有方向的线段AB叫做有向线段。A为起点,B为终点。
向量是具有方向和大小的量
向量的大小 ∣ a ∣ |a| ∣a∣
a = ( 3 , 4 ) ∣ a ∣ = 3 2 + 4 2 = 5 a=(3,4)\qquad |a| = \sqrt{3^2+4^2}=5 a=(3,4)∣a∣=32+42=5
a = ( 1 , 2 , 2 ) ∣ a ∣ = 1 2 + 2 2 + 2 2 = 3 a=(1,2,2)\qquad |a|=\sqrt{1^2+2^2+2^2}=3 a=(1,2,2)∣a∣=12+22+22