- 博客(858)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 人工智能之数学基础：Nesterov梯度下降法
在前面的课程中我们了解了动量梯度下降算法，但是我们发现动量梯度下降算法也有一些问题，比如它在下降过程中积攒的能量越来越大，那么我们就会发现随着从最高点下降到最低点过程中，当达到最优值（最低点）的时候，它积攒的能力反而最大，最终导致它不能最低点就停下来，所以我们可以想一个办法，这个办法就是如果它有预测能力那么就好了，通俗来说它能够提前知道快到了最低点了，那么它就提前减慢这个能量，使得在到最低点的时候能够缓慢的停下来，不至于冲过最低点太多。
2026-04-20 23:09:25
153
原创 人工智能之数学基础：动量梯度下降法
我们前面学习了梯度下降算法，本文我们将学习动量梯度下降算法，我们可以看到前面的梯度下降算法存在一些问题，它的上下波动很大，收敛的速度很慢。因此根据这些问题，我们将学习动量梯度下降算法。如上所示，我们可以看到采用动量的SGD会更快的收敛，下面我们看一下二者的区别。
2026-04-19 23:21:50
32
原创 人工智能之数学基础：最速梯度下降算法
本文我们学习了最快梯度下降算法，和梯度下降算法不同的是，下降步长需要根据实际情况进行求解，同时和梯度下降算法一样，最快梯度下降算法也有批量最快梯度下降和随机最快梯度下降，但这里我们就不进行详细的介绍了。
2026-04-16 23:19:01
685
原创 人工智能之数学基础：求解非线性约束
使用乘子法的好处在于可以使用非常少的迭代次数就求解。这里我们介绍的乘子法的约束条件是等式约束，如果要是不等式约束，我们需要引入松弛因子，将不等式约束转变为等式约束，这里我们就不再详细的介绍了。
2026-04-16 23:17:07
257
原创 人工智能之数学基础：求解约束非线性规划问题之内点法
在前面的课程中我们学习了求解约束非线性规划问题的外点法，本文我们将学习内点法，内点法和外点法是对应的，只要理解了外点法，那么内点法也非常的简单。从名字角度可以看出二者的区别，内点法是从内部（可行域）逐渐逼近边界，而外点法是从外部（不在可行域）逐渐逼近边界。
2026-04-13 23:10:32
41
原创 人工智能之数学基础：求解约束非线性规划问题之外点法
这个就是约束的非线性规划问题，那么我们如何才可以使用外点法来求解呢？首先我们需要构造一个新的函数Φk(x),这个函数叫做增广函数，其中k是迭代次数的意思，k=1表示第一次迭代，k=2表示第二次迭代，不断地迭代，每次迭代Φk(x)的值都不相等,这两种情况的意思是说只要x属于可行域D中，那么就满足约束g(x)，就不会产生惩罚，也就是惩罚函数p(k)=0，那么Φk(x)就是f(x)。但是当x不在可行域D中，那么g(x)就不满足这个约束条件，就会产生惩罚p(k)，使得Φk(x)＞f(x)。
2026-04-13 23:09:34
161
1
原创 人工智能之数学基础：二分法求解非线性方程的根
在前面的课程中，我们介绍了如何判断非线性方程的有根区间，但是如何不断缩小这个有根区间呢？本文我们将学习二分法。
2026-04-10 21:45:11
47
原创 人工智能之数学基础：逐步搜索法求解非线性方程的根
这就是逐步搜索法求解非线性方程的根的方法，步长h可以我们自己安排，如果想要精确一些，就弄小一些。
2026-04-09 22:44:31
348
原创 人工智能之数学基础：求解非线性多项式方程的根
我们通过定义的应用确定了(0,3)中有根，在(3,+∞)中也有根，但是我们发现这个范围太大了，就拿(0,3)来说，这个范围就比较大，那么如何才可以不断缩减这个范围，从而令区间不断逼近根呢？逐步搜索法 (增值寻根法)二分法黄金分割法。
2026-04-09 22:43:33
173
原创 人工智能之数学基础：KTT条件
在前面的课程中我们学习了三种约束规划问题，我们知道了前面两种方式的求解方式，但是我们并没有介绍第三种约束规划问题的求解方式，本文将对这个问题进行介绍，我们使用KTT条件来处理，总的来说KKT条件是将Lagrange乘数法(Lagrange multipliers)所处理涉及等式的约束优化问题推广至不等式。
2026-04-08 22:40:27
339
原创 人工智能之数学基础：三种常见的凸优化问题
以上就是三种常见的凸优化问题，其中第三种很接近KTT条件了，下文我们将总结出KTT条件，并通过它来解决实际问题。
2026-04-08 22:37:35
33
原创 人工智能之数学基础：非线性规划的可行方向和下降方向
如上所示就是下降方向的定义，这个定义的含义就是说有一个点x拔，然后朝着d的方向走了t大小的步伐，然后函数值就变小了，那么我们就可以认为这个向量d就是函数f(x)在x拔的下降方向。
2026-04-07 23:16:41
144
原创 人工智能之数学基础：什么是非线性规划？
如上所示就是非线性规划的定义，其中f(x)是目标函数，ci(x)是约束，约束分为等式约束和不等式约束，只要f(x)，ci(x)中有一个是非线性函数，那么这个约束问题就是非线性规划问题。如果我们将非线性规划通过向量的方式进行表示，那么我们可以得到：这里我们使用g(x)来表示不等式的约束条件，而使用h(x)来表示等式的约束条件，g(x)、h(x)是一个向量，向量中的每一个元素表示一个约束。
2026-04-07 23:14:07
45
原创 人工智能之数学基础：机器学习中的凸优化问题
前面我们介绍了凸优化，在机器学习中，很多机器学习模型的优化本质上就是一个凸优化问题，对于这些模型，一旦模型学习到局部优化点，那么就意味这找到了整个模型的全局最优点。
2026-04-06 23:37:11
175
原创 人工智能之数学基础：凸优化之极点和极方向
极点与极方向理论将凸优化问题转化为几何对象的解析，为算法收敛性分析、最优性条件建立提供了直观框架。随着凸优化在机器学习、金融工程等领域的深入应用，极点与极方向的研究正拓展至非光滑凸集、无限维空间等复杂场景。
2026-04-06 23:36:17
39
原创 人工智能之数学基础：什么是凸优化问题？
前面我们介绍了凸函数还有凸集，这两个都是构成凸优化问题的重要元素，当我们知道凸集和凸函数的时候，凸优化也就非常简单了。如果一个最优化问题的可行域是凸集并且目标函数是凸函数，那么这个问题就是凸优化问题。
2026-04-04 23:12:01
41
原创 人工智能之数学基础：凸优化之凸函数
当满足如上所示条件的时候，那么我们可以认为f是S上的凸函数，若上面的不等式对于x≠y严格成立,则称f是S上的严格凸函数。若-f是S上的凸函数,则称f是S上的凹函数.若-f是S上的严格凸函数,则称f是S上的严格凹函数.
2026-04-04 23:11:18
36
原创 人工智能之数学基础：优化问题的简单介绍
对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习，最后一般都归结为求解最优化问题。因此，最优化方法在机器学习算法的推导与实现中占据中心地位，本文将对优化问题进行简单的介绍。
2026-03-30 09:46:50
144
原创 人工智能之数学基础：多元泰勒公式
在前面的看成中我们学习了一元泰勒公式，在实际使用中不止有一元泰勒公式，而是存在多元泰勒公式，我们本文对其进行简单的了解。
2026-03-30 09:45:40
284
原创 人工智能之数学基础：泰勒公式和麦克劳林公式
泰勒公式揭示了数学分析的核心思想——用局部信息（导数）推断全局行为。它不仅是一种计算工具，更体现了“以简驭繁”的哲学智慧：通过无限阶导数的线性组合，竟能逼近任意复杂的函数形态。这种思想在泛函分析、微分几何等领域持续焕发活力，成为连接微分与积分的纽带。
2026-03-29 11:34:39
149
原创 人工智能之数学基础：连续、可导、可微的关系
连续性是函数最基础的“舞步”。函数f(x)在x₀处连续，当且仅当满足三个条件：1）f(x₀)有定义；2）极限lim(x→x₀)f(x)存在；3）该极限等于f(x₀)。这相当于要求函数在该点没有“跳跃”或“空洞”，就像芭蕾舞者起跳时必须脚尖紧贴地面，不能出现突然的腾空。可导性则要求更严格的“旋转动作”。函数在x₀处可导，当且仅当存在一个实数A，使得：这个极限A就是导数f'(x₀)。可导性不仅要求函数在该点连续，还要求切线存在且唯一，如同花样滑冰运动员必须完成标准的旋转动作，不能出现倾斜或摇晃。可微性。
2026-03-29 11:32:35
48
原创 人工智能之数学基础：多元函数的极值
在前面的课程中，我们学习了一元函数的极值，本文我们学习多元函数的极值点的判别方法，下面以二元函数为例进行介绍。
2026-03-25 22:15:12
207
原创 人工智能之数学基础:黑塞矩阵（Hessian Matrix）
在多元函数优化的领域中，黑塞矩阵（Hessian Matrix）犹如一把精准的钥匙，能够打开函数局部曲率结构的奥秘之门。这个由德国数学家Ludwig Otto Hesse于19世纪提出的数学工具，通过二阶偏导数的对称方阵形式，为理解复杂函数的极值特性提供了关键视角。本文我们将学习一个特殊的矩阵，叫做黑塞矩阵，这个矩阵是由多元函数的二阶偏导数组成的矩阵。
2026-03-17 22:47:02
195
原创 人工智能之数学基础：梯度
梯度是多元函数对应的一个向量值函数，在场论中也可视为将标量场作用为向量场的算子。对于一个具有n个自变量的多元函数fx1,x2,⋯,xn)，其在某一点Px10,x20,⋯,xn0) 处的梯度 ∇f是一个向量，其定义为：梯度非常简单，只需要将梯度看成是函数沿着各个坐标轴偏导数组成的向量。它不仅包含了函数在每个方向上的变化率信息，还通过向量的方向和模长反映了函数变化的综合特征。
2026-03-17 22:45:49
72
原创 每天五分钟深度学习：其它解决过拟合问题的技术
在前面的章节中，我们介绍了几种解决神经网络过拟合问题的方法，比如L2正则化以及随机失活技术。那么在本节课程我们将再介绍几种常见的解决过拟合问题的技术。
2026-03-14 22:02:50
52
原创 人工智能之数学基础：方向导数
在之前的课程中我们学习了导数和偏导数，对于多元函数来说就是偏导数，偏导数可以认为是函数值沿坐标轴方向的变化率，但是很多的时候，我们需要求解函数在某点处沿某一指定方向的变化率，那么沿着某一方面的方向的变化率就是我们所说的方向导数。
2026-03-14 21:38:41
177
原创 人工智能之数学基础：多元复合函数求导的链式法则
前面我们学习了一元复合函数求导的链式法则，本文我们学习多元复合函数的链式求导法则。链式法则是微积分中处理复合函数求导的核心工具，其本质是的思维模式。在多元函数中，若函数z通过中间变量u、v等依赖于自变量x、y，则z对x的导数需考虑所有通过中间变量的“影响路径”，每条路径的贡献为路径上各导数的乘积，最终结果为所有路径贡献之和。
2026-03-14 21:37:04
512
原创 人工智能之数学基础：全微分的介绍
以二元函数为例，函数f(x,y)在(x0,y0)的邻域内有定义，如果存在两个实数A、B，使得有如下式子成立：其中A和B为不依赖△x和△y的常数，则称函数在点(x0,y0)处可微，将A△x+B△y称为在点(x0,y0)处的全微分。可以将△x记为dx，△y记为dy，此时全微分也可以表示为Adx+Bdy。
2026-03-12 23:01:41
385
原创 人工智能之数学基础：多元函数的偏导数
在前面的课程中我们学习了一元函数，所有的函数都有导数，多元函数也不例外，不过多元函数不叫做导数，而是叫做偏导数，下面我们来学习一下多元函数的偏导数。
2026-03-12 23:00:10
41
原创 人工智能之数学基础：什么是多元函数？
多元函数是相对于一元函数而言的，它是指有多个自变量的函数。一般地，设D是n维空间R^n中的一个点集，对于D中的每一个点 (x1,x2,⋯,xn)，按照某一确定的法则f，都有唯一确定的实数y与之对应，那么就称f是定义在D上的n元函数，记作yfx1,x2,⋯,xn)，其中x1,x2,⋯,xn 称为自变量，y称为因变量，点集D称为该函数的定义域。
2026-03-11 22:16:38
50
原创 人工智能之数学基础：变上限积分
假设函数f(x)在区间[a,b]内可积，x∈[a,b]，则变上限积分定义为：根据牛顿莱布尼兹公式公式可得：注意此时变积分上限积分不是一个定制，而是一个函数，x的取值不同，变积分上限积分的值也是不同的。变上限积分作为微积分学中的重要概念，以其独特的性质和广泛的应用，成为了解决各种实际问题的有力武器。它不仅深化了我们对微分和积分之间关系的理解，更为数学在其他学科领域的应用奠定了坚实的基础。
2026-03-11 22:15:57
237
原创 人工智能智能之数学基础：定积分的介绍
定积分是微积分学的核心概念之一，它通过将连续变化的问题离散化，再通过极限过程将离散结果“缝合”为连续解，为计算面积、体积、弧长等几何量，以及解决物理中的功、流量、概率分布等问题提供了系统方法。在前面的课程中，我们学习了不定积分，本文我们将学习定积分。
2026-03-10 22:03:27
168
原创 人工智能之数学基础：一元不定积分的介绍
对于定义在区间[a,b]内的函数f(x)，如果存在一个区间(a,b)内的可导函数F(x)，对于任意的x∈(a,b)均有F'(x)=f(x)，那么可以将F(x)认为是f(x)的一个原函数，也可以将可导函数F(x)+C称为不定积分，可以将不定积分表示为：其中，fx)称为被积函数dx表示对变量x积分。不定积分的本质是寻找所有满足微分关系的原函数族，常数C体现了原函数在垂直方向上的平移自由度——这是微分运算中信息丢失的必然结果。
2026-03-10 22:00:55
52
原创 人工智能之数学基础：微分的介绍以及导数和微分之间的关系
函数yfx) 在点x0 处的导数为：若该极限存在，则称fx) 在x0 处可导。关键点导数是增量比Δy / Δx的极限，反映了函数变化的瞬时速率；导数存在要求函数在x0 处连续，但连续不一定可导（如fx)=∣x∣ 在x=0 处连续但不可导）。导数是微分的“灵魂”，定义了变化的本质；微分是导数的“载体”，将瞬时变化率转化为可操作的线性工具。
2026-03-05 23:35:41
195
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人