![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习数学工具
文章平均质量分 59
ZedKingCarry
成长中……
展开
-
【深度学习数学基础】数学中英文符号简写含义
i.i.d. ------- independently and identically distributed 独立同分。w.r.t. ------- with respect to 常用于求导,或者满足一定条件之类的情况。x* = arg min f(x) ------- 就是指f(x)取得最小值时,变量x的取值。r.v. ------- random variable 随机变量。iff ------- if and only if 当且仅当。s.t. ------- subject to 约束于。转载 2024-03-13 09:22:43 · 143 阅读 · 0 评论 -
【深度学习数学基础】隐变量条件概率建模
这个公式是贝叶斯定理的一个应用,用于在给定上下文或条件的情况下计算某个事件的概率。这个公式通过积分来实现这一点,它将输出的概率分解为对所有可能的潜在向量的条件概率的加权平均。简而言之,这个公式通过积分所有可能的潜在状态来计算给定输入下输出的条件概率,这是生成模型中常见的一种处理潜在变量的方法。为了计算在给定输入的情况下输出的确切概率,我们需要考虑所有这些潜在向量。上面的公式是一个条件概率的积分形式,它描述了在给定输入。这通常是由模型的编码器部分给出的。的集合进行积分,以考虑所有可能的潜在状态。原创 2024-03-11 11:35:07 · 329 阅读 · 0 评论 -
【深度学习数学基础】变分推断
变分推断的核心思想是将复杂的后验分布问题转化为一个优化问题,通过寻找一个简单的分布(称为变分分布)来近似真实的后验分布。在贝叶斯推断中,我们通常想要计算后验概率分布 p(z|x),即在观测到数据 x 的情况下,潜在变量 z 的概率分布。然而,对于许多复杂的模型,这个后验分布往往难以直接计算,因为它涉及到高维积分,这在计算上是非常昂贵的。然而,变分推断也有一些局限性,例如它可能无法捕捉到后验分布的所有复杂性,特别是在潜在空间非常复杂的情况下。:通过优化目标函数来调整变分分布的参数 θ,使得 q(z;原创 2024-03-07 16:29:29 · 504 阅读 · 0 评论 -
【深度学习数学基础】Hebbian图(Hebbian Graph)
Hebbian图(Hebbian Graph)是一种基于神经科学原理的网络结构,它受到唐纳德·赫布(Donald Hebb)提出的赫布学习规则(Hebb’s rule)的启发。赫布学习规则是神经科学中描述神经元之间突触连接如何通过经验而改变的一个理论,通常被概括为“一起激发的神经元会连接在一起”(neurons that fire together, wire together)。例如,在无监督学习中,赫布规则可以用来增强数据中相似模式的表示,从而帮助网络更好地区分和识别不同的模式。原创 2024-03-02 16:33:45 · 250 阅读 · 0 评论 -
【深度学习数学工具】 Riemannian Walk 黎曼行走
黎曼行走是指在黎曼流形上进行的随机行走,其中行走的路径受到流形的几何结构的约束。在黎曼流形上,行走的“方向”和“距离”通过黎曼度量来测量。不同于欧几里得空间中的直线路径,黎曼行走的路径是通过流形上的测地线(geodesics)来定义的,这些测地线是流形上连接两点的最短路径。在随机游走的背景下,黎曼行走可以被理解为在高维空间中的随机路径。与在一维或二维空间中的简单随机游走不同,黎曼行走涉及到在更高维度的欧几里得空间中进行随机步。原创 2024-02-28 11:41:05 · 486 阅读 · 0 评论 -
【深度学习数学工具】Butterfly Factorization
Butterfly Factorization 是一种高效计算和表示大型矩阵的技术,特别是在这些矩阵具有某些结构性质(如低秩、稀疏性或特定的几何结构)时。这种方法来源于计算数学和数值线性代数领域,它通过分解大型矩阵为更小、结构化的矩阵乘积来减少存储和计算成本。Butterfly因子化得名于其特有的数据流图形状,类似于蝴蝶的翅膀。原创 2024-02-27 10:20:27 · 461 阅读 · 0 评论 -
【深度学习数学工具】Hadamard乘积
Hadamard乘积(也称为逐元素乘积、点乘或Schur乘积)是两个矩阵之间的一种操作,它产生一个新的矩阵,新矩阵中的每个元素是原始两个矩阵中对应位置元素的乘积。对于两个形状相同的矩阵A和B,它们的Hadamard乘积CA∘BCijAij×Bij其中CijAij和Bij分别是矩阵CA和B在第i行第j列的元素。原创 2024-02-27 10:02:44 · 1023 阅读 · 0 评论 -
【深度学习数学工具】K-FAC:Kronecker-factored Approximate Curvature
Kronecker-factored Approximate Curvature (K-FAC) 是一种优化深度神经网络的先进方法,特别适用于大规模网络。K-FAC通过近似神经网络的Hessian矩阵的结构,以更有效率和准确性的方式更新网络权重。这种方法基于一个关键的观察:深度网络的Hessian矩阵(即损失函数相对于网络权重的二阶导数矩阵)可以被分解为更小的Kronecker积形式的矩阵的集合。这样的分解允许K-FAC以分块的形式高效地近似这些矩阵,从而加速训练过程,特别是在使用大型数据集和复杂模型时。原创 2024-02-27 10:01:24 · 372 阅读 · 0 评论 -
【深度学习数学工具】拉普拉斯近似
Laplace近似是一种用于估计后验概率分布的方法,特别是在贝叶斯统计中,当后验分布的直接计算非常困难或不可能时。这种方法以皮埃尔-西蒙·拉普拉斯的名字命名,他是18世纪的一位法国数学家和天文学家。原创 2024-02-27 10:00:24 · 476 阅读 · 0 评论 -
【深度学习数学工具】先验概率和后验概率
先验概率(Prior probability)和后验概率(Posterior probability)是贝叶斯统计中的两个核心概念,它们在概率论和统计决策中扮演着重要的角色。原创 2024-02-27 09:59:25 · 1137 阅读 · 0 评论