引言
本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简,适合二次学习的读者快速学习或查阅。
1、微分中值定理
1)费马引理,设函数 f ( x ) f(x) f(x) 在点 x 0 x_{0} x0 的某邻域 U ( x 0 ) U(x_{0}) U(x0) 内有定义,并且在 x 0 x_{0} x0 处可导,如果对任意的 x ∈ U ( x 0 ) x\in U(x_{0}) x∈U(x0) ,有 f ( x ) ≤ f ( x 0 ) f(x)\le f(x_{0}) f(x)≤f(x0) (或 f ( x ) ≥ f ( x 0 ) f(x)\ge f(x_{0}) f(x)≥f(x0) ),那么 f ′ ( x 0 ) = 0 f'(x_{0})=0 f′(x0)=0 ,通常称导数等于零的点为函数的驻点(或稳定点,临界点)。
2)罗尔定理,如果函数
f
(
x
)
f(x)
f(x) 满足:
(1)在闭区间
[
a
,
b
]
[a,b]
[a,b] 上连续;
(2)在开区间
(
a
,
b
)
(a,b)
(a,b) 内可导;
(3)在区间端点处的函数值相等,即
f
(
a
)
=
f
(
b
)
f(a)=f(b)
f(a)=f(b) ,
那么在
(
a
,
b
)
(a,b)
(a,b) 内至少有一点
ξ
\xi
ξ (
a
<
ξ
<
b
a<\xi<b
a<ξ<b ),使得
f
′
(
ξ
)
=
0
f'(\xi)=0
f′(ξ)=0 。
3)拉格朗日中值定理(微分中值定理),如果函数
f
(
x
)
f(x)
f(x) 满足:
(1)在闭区间
[
a
,
b
]
[a,b]
[a,b] 上连续;
(2)在开区间
(
a
,
b
)
(a,b)
(a,b) 内可导,
那么在
(
a
,
b
)
(a,b)
(a,b) 内至少有一点
ξ
\xi
ξ (
a
<
ξ
<
b
a<\xi<b
a<ξ<b ),使以下等式成立:
f
′
(
ξ
)
=
f
(
b
)
−
f
(
a
)
b
−
a
f'(\xi)=\frac{f(b)-f(a)}{b-a}
f′(ξ)=b−af(b)−f(a)
4)如果函数 f ( x ) f(x) f(x) 在区间 I I I 上连续, I I I 内可导且导数恒为零,那么 f ( x ) f(x) f(x) 在区间 I I I 上是一个常数。
5)柯西中值定理,如果函数
f
(
x
)
f(x)
f(x) 及
F
(
x
)
F(x)
F(x) 满足:
(1)在闭区间
[
a
,
b
]
[a,b]
[a,b] 上连续;
(2)在开区间
(
a
,
b
)
(a,b)
(a,b) 内可导;
(3)对任一
x
∈
(
a
,
b
)
x\in (a,b)
x∈(a,b) ,
F
′
(
x
)
≠
0
F'(x)\neq0
F′(x)=0 ,
那么在
(
a
,
b
)
(a,b)
(a,b) 内至少有一点
ξ
\xi
ξ ,使以下等式成立:
f
(
b
)
−
f
(
a
)
F
(
b
)
−
F
(
a
)
=
f
′
(
ξ
)
F
′
(
ξ
)
\frac{f(b)-f(a)}{F(b)-F(a)}=\frac{f'(\xi)}{F'(\xi)}
F(b)−F(a)f(b)−f(a)=F′(ξ)f′(ξ)
2、洛必达法则
1)设:
(1)当
x
→
a
x\to a
x→a 时,函数
f
(
x
)
f(x)
f(x) 及
F
(
x
)
F(x)
F(x) 都趋于零;
(2)在点
a
a
a 的某去心邻域内,
f
′
(
x
)
f'(x)
f′(x) 及
F
′
(
x
)
F'(x)
F′(x) 都存在且
F
′
(
x
)
≠
0
F'(x)\neq0
F′(x)=0 ;
(3)
lim
x
→
a
f
′
(
x
)
F
′
(
x
)
\lim_{x\to a}\frac{f'(x)}{F'(x)}
limx→aF′(x)f′(x) 存在(或为无穷大),
则:
lim
x
→
a
f
(
x
)
F
(
x
)
=
lim
x
→
a
f
′
(
x
)
F
′
(
x
)
\lim_{x\to a}\frac{f(x)}{F(x)}=\lim_{x\to a}\frac{f'(x)}{F'(x)}
x→alimF(x)f(x)=x→alimF′(x)f′(x)
2)设:
(1)当
x
→
∞
x\to \infty
x→∞ 时,函数
f
(
x
)
f(x)
f(x) 及
F
(
x
)
F(x)
F(x) 都趋于零;
(2)当
∣
x
∣
>
N
|x|>N
∣x∣>N 时
f
′
(
x
)
f'(x)
f′(x) 与
F
′
(
x
)
F'(x)
F′(x) 都存在,且
F
′
(
x
)
≠
0
F'(x)\neq0
F′(x)=0 ;
(3)
lim
x
→
∞
f
′
(
x
)
F
′
(
x
)
\lim_{x\to \infty}\frac{f'(x)}{F'(x)}
limx→∞F′(x)f′(x) 存在(或为无穷大),
则:
lim
x
→
∞
f
(
x
)
F
(
x
)
=
lim
x
→
∞
f
′
(
x
)
F
′
(
x
)
\lim_{x\to \infty}\frac{f(x)}{F(x)}=\lim_{x\to \infty}\frac{f'(x)}{F'(x)}
x→∞limF(x)f(x)=x→∞limF′(x)f′(x)
3、泰勒公式
1)如果函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处具有
n
n
n 阶导数,那么存在
x
0
x_{0}
x0 的一个邻域,对于该邻域内的任一
x
x
x ,有
f
(
x
)
=
f
(
x
0
)
+
f
′
(
x
0
)
(
x
−
x
0
)
+
f
′
′
(
x
0
)
2
!
(
x
−
x
0
)
2
+
⋯
+
f
(
n
)
(
x
0
)
n
!
(
x
−
x
0
)
n
+
R
n
(
x
)
f(x)=f(x_{0})+f'(x_{0})(x-x_{0})+\frac{f''(x_{0})}{2!}(x-x_{0})^{2}+\dots+\frac{f^{(n)}(x_{0})}{n!}(x-x_{0})^{n}+R_{n}(x)
f(x)=f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2+⋯+n!f(n)(x0)(x−x0)n+Rn(x)
其中
R
n
(
x
)
=
o
(
(
x
−
x
0
)
n
)
R_{n}(x)=o((x-x_{0})^{n})
Rn(x)=o((x−x0)n) 。
2)如果函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 的某个邻域
U
(
x
0
)
U(x_{0})
U(x0) 内具有
(
n
+
1
)
(n+1)
(n+1) 阶导数,那么对任一
x
∈
U
(
x
0
)
x\in U(x_{0})
x∈U(x0) ,有
f
(
x
)
=
f
(
x
0
)
+
f
′
(
x
0
)
(
x
−
x
0
)
+
f
′
′
(
x
0
)
2
!
(
x
−
x
0
)
2
+
⋯
+
f
(
n
)
(
x
0
)
n
!
(
x
−
x
0
)
n
+
R
n
(
x
)
f(x)=f(x_{0})+f'(x_{0})(x-x_{0})+\frac{f''(x_{0})}{2!}(x-x_{0})^{2}+\dots+\frac{f^{(n)}(x_{0})}{n!}(x-x_{0})^{n}+R_{n}(x)
f(x)=f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2+⋯+n!f(n)(x0)(x−x0)n+Rn(x)
其中
R
n
(
x
)
=
f
(
n
+
1
)
(
ξ
)
(
n
+
1
)
!
(
x
−
x
0
)
n
+
1
R_{n}(x)=\frac{f^{(n+1)}(\xi)}{(n+1)!}(x-x_{0})^{n+1}
Rn(x)=(n+1)!f(n+1)(ξ)(x−x0)n+1
这里
ξ
\xi
ξ 是
x
0
x_{0}
x0 与
x
x
x 之间的某个值。
4、函数的单调性与曲线的凹凸性
定义:设 f ( x ) f(x) f(x) 在区间 I I I 上连续,如果对 I I I 上任意两点 x 1 , x 2 x_{1},x_{2} x1,x2 恒有 f ( x 1 + x 2 2 ) < f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_{1}+x_{2}}{2})<\frac{f(x_{1})+f(x_{2})}{2} f(2x1+x2)<2f(x1)+f(x2) 那么称 f ( x ) f(x) f(x) 在 I I I 上的图形是凹的;如果恒有 f ( x 1 + x 2 2 ) > f ( x 1 ) + f ( x 2 ) 2 f(\frac{x_{1}+x_{2}}{2})>\frac{f(x_{1})+f(x_{2})}{2} f(2x1+x2)>2f(x1)+f(x2) ,那么称 f ( x ) f(x) f(x) 在 I I I 上的图形是凸的。
定理:
1)设函数
y
=
f
(
x
)
y=f(x)
y=f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上连续,在
(
a
,
b
)
(a,b)
(a,b) 内可导。
(1)如果在
(
a
,
b
)
(a,b)
(a,b) 内
f
′
(
x
)
≥
0
f'(x)\ge0
f′(x)≥0 ,且等号仅在有限多个点处成立,那么函数
y
=
f
(
x
)
y=f(x)
y=f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上单调增加;
(2)如果在
(
a
,
b
)
(a,b)
(a,b) 内
f
′
(
x
)
≤
0
f'(x)\le0
f′(x)≤0 ,且等号仅在有限多个点处成立,那么函数
y
=
f
(
x
)
y=f(x)
y=f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上单调减少。
2)设
f
(
x
)
f(x)
f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上连续,在
(
a
,
b
)
(a,b)
(a,b) 内具有一阶和二阶导数,那么:
(1)若在
(
a
,
b
)
(a,b)
(a,b) 内
f
′
′
(
x
)
>
0
f''(x)>0
f′′(x)>0 ,则
f
(
x
)
f(x)
f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上的图形是凹的;
(2)若在
(
a
,
b
)
(a,b)
(a,b) 内
f
′
′
(
x
)
<
0
f''(x)<0
f′′(x)<0 ,则
f
(
x
)
f(x)
f(x) 在
[
a
,
b
]
[a,b]
[a,b] 上的图形是凸的。
5、函数的极值
定义:设函数 f ( x ) f(x) f(x) 在点 x 0 x_{0} x0 的某邻域 U ( x 0 ) U(x_{0}) U(x0) 内有定义,如果对于去心邻域 U o ( x 0 ) \overset{o}{U}(x_{0}) Uo(x0) 内的任一 x x x ,有 f ( x ) < f ( x 0 ) f(x)<f(x_{0}) f(x)<f(x0) (或 f ( x ) > f ( x 0 ) f(x)>f(x_{0}) f(x)>f(x0) ),那么就称 f ( x 0 ) f(x_{0}) f(x0) 是函数 f ( x ) f(x) f(x) 的一个极大值(或极小值),函数的极大值与极小值统称为函数的极值,使函数取得极值的点称为极值点。
定理:
1)设函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处可导,且在
x
0
x_{0}
x0 处取得极值,则
f
′
(
x
0
)
=
0
f'(x_{0})=0
f′(x0)=0 。
2)设函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处连续,且在
x
0
x_{0}
x0 的某去心邻域
U
o
(
x
0
,
δ
)
\overset{o}{U}(x_{0},\delta)
Uo(x0,δ) 内可导:
(1)若
x
∈
(
x
0
−
δ
,
x
0
)
x\in(x_{0}-\delta,x_{0})
x∈(x0−δ,x0) 时,
f
′
(
x
)
>
0
f'(x)>0
f′(x)>0 ,而
x
∈
(
x
0
,
x
0
+
δ
)
x\in(x_{0},x_{0}+\delta)
x∈(x0,x0+δ) 时,
f
′
(
x
)
<
0
f'(x)<0
f′(x)<0 ,则
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处取得极大值;
(2)若
x
∈
(
x
0
−
δ
,
x
0
)
x\in(x_{0}-\delta,x_{0})
x∈(x0−δ,x0) 时,
f
′
(
x
)
<
0
f'(x)<0
f′(x)<0 ,而
x
∈
(
x
0
,
x
0
+
δ
)
x\in(x_{0},x_{0}+\delta)
x∈(x0,x0+δ) 时,
f
′
(
x
)
>
0
f'(x)>0
f′(x)>0 ,则
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处取得极小值;
(3)若
x
∈
U
o
(
x
0
,
δ
)
x\in\overset{o}{U}(x_{0},\delta)
x∈Uo(x0,δ) 时,
f
′
(
x
)
f'(x)
f′(x) 的符号保持不变,则
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处没有极值。
3)设函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处具有二阶导数且
f
′
(
x
0
)
=
0
f'(x_{0})=0
f′(x0)=0 ,
f
′
′
(
x
0
)
≠
0
f''(x_{0})\neq0
f′′(x0)=0 ,则:
(1)当
f
′
′
(
x
0
)
<
0
f''(x_{0})<0
f′′(x0)<0 时,函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处取得极大值;
(2)当
f
′
′
(
x
0
)
>
0
f''(x_{0})>0
f′′(x0)>0 时,函数
f
(
x
)
f(x)
f(x) 在
x
0
x_{0}
x0 处取得极小值。
6、求方程的近似解
1、二分法;
2、切线法;
3、割线法。