【学习笔记】理论基础

数学

牛顿法

        牛顿法（Newton's Method）又称为牛顿-拉弗森方法（Newton-Raphson method），是一种在实数域和复数域上近似求解方程的方法。这种方法最初由艾萨克·牛顿在《流数法》（Method of Fluxions）中提出，用于求解数值优化和非线性方程求解问题的迭代数值方法。

        牛顿法基于泰勒级数展开，通过不断逼近函数的根或极小值点，以寻找函数的最优解。具体来说，假设点x是函数f(x)的根，即f(x)=0。将函数f(x)在点x处进行一阶泰勒展开，可以得到一个近似的线性函数。然后，找到这个线性函数的根，作为新的x值，重复这个过程，直到找到足够接近真实根的x值。

        牛顿法在机器学习、数值分析和优化领域广泛应用。例如，在机器学习中，牛顿法可以用于训练线性和非线性模型的参数估计；在优化问题中，牛顿法可以用于求解非线性优化问题，如参数优化、函数拟合等；在信号处理中，牛顿法可以用于信号重构、滤波和边缘检测等；在物理建模中，牛顿法可以用于模拟物理过程、数值求解微分方程等。

        需要注意的是，牛顿法虽然具有较快的收敛速度，但也可能存在一些问题，如收敛性受初始值影响较大，以及在某些情况下可能无法收敛到正确的解。因此，在使用牛顿法时需要注意选择合适的初始值和参数设置。

黑森矩阵和黑森向量

        黑森矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

        当我们谈论黑森向量时，我们实际上是在谈论黑森矩阵的某一列或某一行（取决于矩阵的存储方式）。

概率论与数理统计

随机过程

        在随机过程（Stochastic Process）中，主要可以分为以下几类：

1. 离散时间随机过程（Discrete-Time Stochastic Process）：

   • 离散时间随机过程是在离散的时间点上定义的随机过程，通常用于描述离散事件的随机变化。
   • 其特点是时间变量为离散的整数，随机变量是在这些时间点上取值的。
   • 一种常见的离散时间随机过程是马尔可夫链（Markov Chain），其中每个随机变量的取值仅依赖于前一个随机变量的值。

2. 连续时间随机过程（Continuous-Time Stochastic Process）：

   • 连续时间随机过程是在连续时间内定义的随机过程，通常用于描述连续事件的随机变化。
   • 其特点是时间变量为连续的实数，随机变量是在时间区间上取值的。
   • 常见的连续时间随机过程包括布朗运动（Brownian Motion）、泊松过程（Poisson Process）等。

        此外，还可以根据其他特性对随机过程进行分类：

1. 马尔可夫过程（Markov Process）：

   • 马尔可夫过程是一类特殊的随机过程，其未来的状态仅取决于当前的状态，而与过去的状态无关。
   • 马尔可夫过程在概率论、统计学、物理学、计算机科学等领域都有广泛的应用。

2. 非马尔可夫过程（Non-Markov Process）：

   • 与马尔可夫过程相反，非马尔可夫过程是指未来的状态不仅取决于当前的状态，还取决于过去的状态或其他因素。

3. 定常随机过程（Stationary Stochastic Process）：

   • 定常随机过程是指在时间上的统计特性不随时间变化的随机过程。
   • 这意味着其均值、方差等统计量不随时间改变。

4. 非定常随机过程（Non-Stationary Stochastic Process）：

   • 非定常随机过程则是指在时间上的统计特性会随时间发生变化的随机过程。

高斯过程

        高斯过程（Gaussian Process, GP）是概率论和数理统计中随机过程（stochastic process）的一种，属于连续时间随机过程的一种。它指的是一系列服从正态分布的随机变量在一指数集（index set）内的组合。在这个过程中，任意随机变量的线性组合都服从正态分布，每个有限维分布都是联合正态分布，并且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度。因此，高斯过程被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定，并继承了正态分布的诸多性质。常见的应用包括机器学习、信号处理等领域中的建模和预测任务，如高斯过程回归和高斯过程分类等。

信息论

Fisher Information

        Fisher信息（Fisher Information）是一种测量可观察随机变量X携带的关于模型X的分布的未知参数θ的信息量的方法。它是方差得分，或观察到的信息的预期值。在数学统计中，Fisher信息有着广泛的应用，如用于贝叶斯统计中的Jeffreys先验的计算，以及用于计算与最大似然估计相关联的协方差矩阵等。

        Fisher信息的主要作用是预测实验结果的准确性。