1.定义
表示在区间[a,b]之间函数f(x)的面积。
将[a,b]区间分成无数个单位,每个单位长度为
在每个区间内取一个点,则区间的面积为
所以整个[a,b]区间的面积为
2.性质
线性: c,d为常数
区间可加性: a≤c≤b
积分上下界交换:
积分中值定理:如果函数 f(x) 在闭区间 [a,b] 上连续,则存在 c∈[a,b]
3.微积分基本公式
牛顿莱布尼茨公式
为的原函数
4.定积分换元法
例题:
设
5.多元函数
二元极限
设函数 f(x,y) 在点 (a,b) 的某个去心邻域内有定义。如果对于任意给定的正数 ϵ,总存在正数 δ,使得当时,总有:∣f(x,y)−L∣<ϵ则称 L 为函数 f(x,y)在点 (a,b)处的极限,记作:
几何意义
当点 (x,y)从任意方式趋近于点 (a,b) 时,函数 f(x,y) 的值趋近于 L。换句话说,函数图像在二维平面的点 (a,b)附近趋近于一个三维立体平面上的点 (a,b,L)。可将(a,b)想象为(a,b,L)投影在二维平面的点。
如果 (x,y)从不同方式趋近于点 (a,b),函数 f(x,y) 的值不相等,则表示 f(x,y) 不存在。
6.偏导数
偏导数是多元函数求导的一种形式,表示在多个自变量中,当其中一个自变量改变而其他自变量保持不变时函数值的变化率。
这实质上是将其他自变量视为常数,然后按照单变量函数求导的方法进行运算。
定义
设函数 f(x,y) 在点 (x0,y0) 的某个邻域内有定义。如果极限:
存在,则称此极限为函数 f(x,y)在点 (x0,y0) 处对 x 的偏导数,记作:
或者
类似地,如果极限:
存在,则称此极限为函数 f(x,y)在点 (x0,y0)处对 y的偏导数,记作:
或者
偏导数的计算方法
对于二元函数z=f(x,y),求z对x的偏导数时,将y看作常量,对x求导;求z对y的偏导数时,将x看作常量,对y求导数。
例:求的偏导数
7.全微分
定义
如果函数z=f(x, y)在点(x, y)处的全增量
其中A、B不依赖于Δx, Δy,仅与x, y有关,ρ趋近于0(ρ=√[(Δx)²+(Δy)²]),此时称函数z=f(x, y)在点(x, y)处可微分,AΔx+BΔy称为函数z=f(x, y)在点(x, y)处的全微分,记为dz即dz=AΔx +BΔy。
可微的必要条件条件
若z=f(x,y)在(x,y)点处可微,则偏导数
存在,且或者
可微的充分条件
z=f(x,y)在(x,y)的某个邻域内有连续的偏导数
在(x,y)处可微或者
近似计算
z=f(x, y)在点(x, y)处的全增量为
全微分为
在计算中通常使
因此
8.梯度
梯度是一个向量,表示多元函数在某一点处的最大变化率和变化方向。
定义
设 f(x1,x2,…,xn)是一个定义在 Rn(n维欧几里得空间) 上的多元函数,函数 f在n维向量点 a=(a1,a2,…,an)处的梯度定义为:
其中是函数f在点a处对i个自变量的偏导数。
性质
-
最大变化率:梯度 ∇f(a) 的方向是函数 f在点 a 处变化率最大的方向。
-
变化率:梯度 ∇f(a) 的大小(模)是函数 f 在点 a 处沿梯度方向的变化率。
沿梯度方向是是函数 f在点 a 处变化率增加最大的方向;沿梯度反方向是是函数 f在点 a 处变化率减小最大的方向;沿梯度垂直方向函数 f在点 a 处变化率为0。
梯度下降
梯度下降是一种优化算法,用于寻找多元函数的最小值。其基本思想是沿着函数的负梯度方向逐步更新参数,以减少函数值。
算法步骤
-
初始化:选择一个初始点 x0。
-
迭代更新:对于每次迭代 k,计算当前点的梯度 ,并更新参数 η是学习率(步长),控制每次更新的步幅。
-
终止条件:当梯度的模足够小或达到预设的迭代次数时,停止迭代。通常,终止条件可以是以下几种:
梯度的模足够小:当梯度的模(或范数) 小于某个阈值时,停止迭代。
达到预设的迭代次数:当迭代次数达到预设的最大迭代次数时,停止迭代。
函数值变化足够小:当函数值的变化 小于某个阈值时,停止迭代。
学习率
学习率 η是一个重要的超参数,控制着每次更新的步幅。选择合适的学习率对于梯度下降算法的性能至关重要:
-
学习率过大:如果步幅过大,算法可能会“跳过”最优解,导致在最优解附近来回震荡。
-
学习率过小:可能导致算法收敛速度过慢。