数理基础
文章平均质量分 60
讲解基础的数理知识、数学推导与证明
yaoyao255
这个作者很懒,什么都没留下…
展开
-
【数理基础】矩阵运算公式汇总(基本性质、迹、行列式、矩阵求导、特征向量)
矩阵是机器学习应用的一种重要的数据结构,广泛应用于数据表示、特征提取、模型训练和数据处理等各个方面,许多机器学习算法都涉及到对数据进行矩阵运算操作。理解和熟练运用线性代数和矩阵操作对于机器学习算法的理解至关重要。因此在此博客中,汇总矩阵的基本性质以及一些常见的矩阵运算公式,以便在记忆出现模糊时查阅。原创 2023-09-15 16:38:09 · 4199 阅读 · 0 评论 -
【数理基础】Gaussian Process(GP)高斯过程与Gaussian Process Regression(GPR)高斯过程回归
假设是一个连续域,对于中的每一个点,都有一个其对应的变量。如果我们任意选取一组点,都有对应变量的联合分布服从多维高斯分布(注意当只选取一个点时则服从一维高斯分布),那么就将称为一个高斯过程。由于是连续域,可以随机去任意多点,因此可以看做是在这个连续域上的无限维高斯分布。在实际采样时,我们无法采样无限多的点,因此假设我们每次采样的位置是注意每个点对应的是一个随机变量而不是一个具体的值。原创 2023-09-12 23:01:56 · 264 阅读 · 0 评论 -
【数理基础】KL散度大于等于0及其取等条件的证明
KL散度(Kullback-Leibler散度),也称为相对熵(Relative Entropy),是用于衡量两个概率分布之间差异的一种指标。KL散度的定义式如下:其中和是变量的两个概率分布。通常情况下,变量有一个。由于是未知的,因此我们无法直接使用进行操作,而是要用一个对其建模,需要注意的是,,因此不能保证等于。原创 2023-08-25 07:00:00 · 943 阅读 · 2 评论