阶的估计I 无穷小量与强函数1 基本概念 无穷小量与强函数的运算法则
写在前面
阶的估计是一个大家从学数分/高数开始到未来研究工作中出现频率都会非常高的一个词语,特别是对于从事数值计算/理论研究的工作者而言。结合我个人学习与研究经历来说,阶的估计就是尝试用毕生所学分析技巧去计算一个极限/积分/级数或者找它们的上下界的过程,并且这些极限/积分/级数看起来都非常不一般,比如我在科研中遇到过的:
f ( y ) = ∫ y e y 2 2 ( 1 + u − 2 τ 2 ) 1 u 2 + ( u ln ( u − 2 ) ) 2 d u f(y)=\int ye^{\frac{y^2}{2(1+u^{-2}\tau^2)}} \frac{1}{u^2+(u\ln(u^{-2}))^2}du f(y)=∫ye2(1+u−2τ2)y2u2+(uln(u−2))21du
目标是估计 f ( y ) f(y) f(y)这个函数关于 y y y在 0 0 0处的阶,也就是找到一个 α \alpha α使得
lim ∣ y ∣ → 0 y − α f ( y ) = c o n s t \lim_{|y| \to 0} y^{-\alpha}f(y)=const ∣y∣→0limy−αf(y)=const
这个积分拥有让人一看就想放弃的魔力,但它和贝叶斯统计理论中的一个小问题的一种可行解的稳健性有关,所以我们又不得不尝试搞一下这个积分。
阶的估计的应用非常广泛:数值计算中估计算法的误差/收敛速率,机器学习中估计算法的收敛速率/运算时间/最少样本量,理论统计中计算随机元的concentration、证明估计量的一致性/计算估计量的收敛速率等。并且这些领域有一个共同的特点,那就是这是一个机器无法替代的工作!无法被替代的原因很简单,机器虽然能做数值逼近,但它处理不了无穷这个概念。这是一个好事,说明我们理论工作者在短时间内还是不可或缺的,但这也是一个坏事,意味着我们不得不与这些奇形怪状的极限/积分/级数战斗。所以这个系列的博客就是总结一些大家数分/高数/复变/实变都学过的关于收敛性与阶的判断技巧,希望对大家的学习与科研带来一些帮助。
定义1.1 无穷小量
假设 lim x → x 0 f ( x ) = 0 \lim_{x \to x_0}f(x)=0 x→x0limf(x)=0
称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时是无穷小量,记为 f ( x ) = o ( 1 ) f(x)=o(1) f(x)=o(1);如果
lim x → x 0 f ( x ) g ( x ) = 0 \lim_{x \to x_0}\frac{f(x)}{g(x)}=0 x→x0limg(x)f(x)=0
称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x) g(x)是无穷小量,记为 f ( x ) = o ( g ( x ) ) f(x)=o(g(x)) f(x)=o(g(x)),它的含义是在 x → x 0 x \to x_0 x→x0时, f ( x ) f(x) f(x)比 g ( x ) g(x) g(x)更快趋近于0;
定义1.2 等价
如果
lim x → x 0 f ( x ) g ( x ) = 1 \lim_{x \to x_0}\frac{f(x)}{g(x)}=1 x→x0limg(x)f(x)=1称 f ( x ) f(x) f(x)在 x → x 0 x \to x_0 x→x0时关于 g ( x ) g(x)