![](https://img-blog.csdnimg.cn/direct/69da6f44d5514508bde6c1b717470136.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习的数学基础
文章平均质量分 92
。
二进制人工智能
图像,点云,机器学习, Python, C++
展开
-
【机器学习的数学基础】(十五)信息论
文章目录8 信息论8.1自信息与熵8.1.1 自信息8.1.2 熵8.1.3 相对熵(KL散度)8.1.4 JS散度8.1.5 交叉熵8.2 联合自信息与联合熵8.2.1联合自信息8.2.2联合熵8.3 条件自信息与条件熵8.3.1条件自信息8.3.2 条件熵8.4 互信息8.4.1 互信息8.4.2平均互信息8.4.3KL散度与平均互信息8.5 关系总结8 信息论8.1自信息与熵8.1.1 自信息概率论中,随机事件指可能发生,也可能不发生的随机现象,为样本空间的子集。而利用信息论可以对一个事件所原创 2022-04-26 12:00:33 · 2793 阅读 · 0 评论 -
【机器学习的数学基础】(十四)连续优化(Continuous Optimization)
(十四)连续优化(Continuous Optimization)原创 2021-05-08 09:22:18 · 5016 阅读 · 1 评论 -
【机器学习的数学基础】(十三)概率与分布(Probability and Distributions)(下)
概率与分布(Probability and Distributions)(下)原创 2021-05-02 11:21:25 · 1923 阅读 · 2 评论 -
【机器学习的数学基础】(十二)概率与分布(Probability and Distributions)(中)
概率与分布(Probability and Distributions)(中)6.4 概括性统计和独立性我们通常对概括随机变量集和比较随机变量对感兴趣。随机变量的统计量是该随机变量确定的函数。分布的概括性统计量为随机变量的行为提供了一个有用的视角,顾名思义,它用数字概括和描述分布。我们将描述均值和方差这两个众所周知的概括性统计量。然后讨论比较一对随机变量的两种方法:一是如何说明两个随机变量是独立的;第二,如何计算它们之间的内积6.4.1 均值和协方差平均值和(协)方差通常是有用的描述概率分布的性质(原创 2021-04-27 09:53:56 · 2224 阅读 · 1 评论 -
【机器学习的数学基础】(十一)概率与分布(Probability and Distributions)(上)
6.1 概率空间的构造6.1.1 哲学问题6.1.2 概率与随机变量6.1.3 统计学6.2 离散和连续概率6.2.1 离散概率6.2.2 连续概率6.2.3 对比离散分布和连续分布6.3 加法法则、乘法法则和贝叶斯定理原创 2021-04-17 20:31:35 · 3667 阅读 · 6 评论 -
【机器学习的数学基础】(十)向量微积分(Vector Calculus)(下)
向量微积分(Vector Calculus)(中)4 矩阵的梯度我们会遇到这样的情况:我们需要求矩阵关于向量(或其他矩阵)的梯度,最后得到多维的张量。我们可以把张量看作是一个元素为偏导数的多维数组(可能大于两维)。例如,如果我们计算m×nm×nm×n矩阵A\boldsymbol{A}A相对于p×qp×qp×q矩阵B\boldsymbol{B}B的梯度,得到的雅可比矩阵的形状将是(m×n)×(p×q)(m×n)×(p×q)(m×n)×(p×q),即一个四维张量J\boldsymbol{J}J,其各个元素表原创 2021-04-11 13:34:16 · 2384 阅读 · 1 评论 -
【机器学习的数学基础】(九)向量微积分(Vector Calculus)(上)
文章目录5 向量微积分(Vector Calculus)5.1 单变量函数的微分5.1.1 泰勒级数(Taylor Series)5.1.2 微分法则5.2 偏微分与梯度(Partial Differentiation and Gradients)5.2.1 偏微分的基本法则5.2.2 链式法则5 向量微积分(Vector Calculus)机器学习中的许多算法根据一组期望的模型参数来优化目标函数,这些参数控制模型对数据的解释程度:找到好的参数可看作一个优化问题(见第8.2节和第8.3节)。示例包括:原创 2021-04-08 20:25:32 · 4116 阅读 · 1 评论 -
【机器学习的数学基础】(八)矩阵分解(Matrix Decomposition)(下)
文章目录6 矩阵逼近( Matrix Approximation)7 矩阵衍生6 矩阵逼近( Matrix Approximation)我们认为奇异值分解是将一个矩阵分解为三个矩阵的乘积A=UΣV⊤∈Rm×n\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Sigma} \boldsymbol{V}^{\top} \in \mathbb{R}^{m \times n}A=UΣV⊤∈Rm×n的一种方法,其中U∈Rm×m\boldsymbol{U} \in \mathbb原创 2021-04-05 11:19:08 · 1714 阅读 · 2 评论 -
【机器学习的数学基础】(七)矩阵分解(Matrix Decomposition)(中)
3 Cholesky分解(Decomposition)原创 2021-04-03 10:59:37 · 2104 阅读 · 2 评论 -
【机器学习的数学基础】(六)矩阵分解(Matrix Decomposition)(上)
文章目录矩阵分解(Matrix Decompositions)1 行列式与迹(Determinant and Trace )矩阵分解(Matrix Decompositions)在第2章和第3章中,我们研究了如何操作和度量向量、向量的投影和线性映射。向量的映射和变换可以方便地描述为由矩阵执行的操作。此外,数据通常也以矩阵形式表示,例如,矩阵的行表示不同的人,列描述不同的人的特征,例如体重、身高和社会经济地位。在本章中,我们将介绍矩阵的三个方面:如何总结矩阵(summarize matrices),如何分原创 2021-04-01 18:04:11 · 3188 阅读 · 1 评论 -
【机器学习的数学基础】(五)解析几何(Analytic Geometry)(下)
文章目录6 正交补( Orthogonal Complement)7 函数的内积(Inner Product of Functions)8 正交投影(Orthogonal Projections)8.1 一维子空间(线)上的投影8.2 一般子空间上的投影8.3 Gram-Schmidt正交化8.4 仿射子空间上的投影9 旋转(Rotations)9.1 R2\mathbb{R}^{2}R2中的旋转9.2 R3中\mathbb{R}^{3}中R3中的旋转9.3 Rn\mathbb{R}^{n}Rn中的旋转9.原创 2021-03-30 12:27:30 · 1996 阅读 · 2 评论 -
【机器学习的数学基础】(四)解析几何(Analytic Geometry)(上)
文章目录解析几何(Analytic Geometry)解析几何(Analytic Geometry)原创 2021-03-28 20:46:55 · 3872 阅读 · 3 评论 -
【机器学习的数学基础】(三)线性代数(Linear Algebra)(下)
文章目录7 线性映射7.1 线性映射的矩阵表示7.2 基变换(Basis Change)7.3 像与核(Image and Kernel)8 仿射空间(Affine Spaces)7 线性映射下面,我们将研究向量空间上结构不变的映射,这将允许我们定义坐标的概念。之前我们说过向量相加并乘以标量得到的对象仍然是一个向量。这里我们希望在应用映射时保留此特性:考虑两个实数向量空间V,WV,WV,W。对于x,y∈V\boldsymbol{x}, \boldsymbol{y} \in Vx,y∈V和λ∈R\lam原创 2021-03-27 13:08:12 · 3531 阅读 · 1 评论 -
【机器学习的数学基础】(二)线性代数(Linear Algebra)(中)
文章目录5 线性独立6 基和秩7 线性映射8 仿射空间(Affine Spaces)5 线性独立下面我们来看看我们可以用向量(向量空间的元素)做什么。特别地,我们可以将向量相加,然后用标量相乘,而封闭性保证我们在同一个向量空间中得到另一个向量。那么有可能找到一组向量,我们可以用这些向量表示向量空间中的其他所有向量,方法是将它们相加并缩放。这组向量是一个基(basis),我们将在后面讨论它。在此之前,我们需要介绍以下线性组合和线性独立(linear combinations 和 linear indepe原创 2021-03-25 09:31:48 · 4142 阅读 · 2 评论 -
【机器学习的数学基础】(一)线性代数(Linear Algebra)(上+)
【机器学习的数学基础】(一)线性代数(Linear Algebra)(上+)原创 2022-07-04 11:43:21 · 3185 阅读 · 3 评论 -
【机器学习的数学基础】(一)线性代数(Linear Algebra)(上)
2.1 线性方程组2.2 矩阵2.2.1 矩阵加法和乘法2.2.2 逆和转置2.2.3 与标量相乘2.2.4 线性方程组的紧凑表示2.3 线性方程组的求解2.3.1 特解和通解2.3.2 初等变换2.3.3 Minus-1 技巧2.3.4 求解线性方程组的算法..............................原创 2021-03-23 09:28:39 · 22521 阅读 · 7 评论