数学工具
文章平均质量分 91
muyuu
这个作者很懒,什么都没留下…
展开
-
牛顿法,拟牛顿法,BFGS,LBFGS
目录牛顿法拟牛顿法BFGS,LBFGS牛顿法首先介绍一下牛顿法。给定一个优化问题minxf(x)min_x f(x)minxf(x)其中f(x)f(x)f(x)具有连续的二阶偏导。由Taylor展开,当x→xkx\rightarrow x_kx→xk,f(x∗)=f(xk)+∇f(xk)(x∗−xk)+12(x∗−xk)T∇2f(xk)(x∗−xk)+O(x3)f(x^*) = f(x_k)+\nabla f(x_k)(x^*-x_k)+\frac{1}{2}(x^*-x_k)^T\nabl原创 2021-09-04 12:44:42 · 475 阅读 · 0 评论 -
Armijo条件,Wolfe条件,Goldstein条件
目录线搜索非精确线搜索(Armijo条件,Wolfe条件,Goldstein条件)强Wolfe条件线搜索算法线搜索对于迭代式xk+1=xk+αpkx_{k+1} = x_k +\alpha p_kxk+1=xk+αpk,其中pkp_kpk是由梯度法,牛顿法,CG法等方法计算出的下降方向,α\alphaα是下降的步长。寻找最优值α=minαf(xk+αpk)\alpha = {\underset {\alpha}{\operatorname {min} }} f(x_k + \alpha p原创 2021-09-04 12:47:48 · 6824 阅读 · 2 评论 -
多项式插值,分段插值
目录插值法多项式插值二次插值分段插值插值法插值法是离散数学中的重要工具,主要是根据已知的数据点,来预测未知数据点(例如极值点)的方法。例如。已知fff函数经过了n个数据点,可以求一个n-1次的插值函数PPP,使得插值函数P(x)P(x)P(x)尽量接近原函数f(x)f(x)f(x),并由插值函数来预测未知的数据点。(通常是因为fff的极值不好求,用而用于拟合的插值函数一般是比较好求极值的函数,例如多项式。)多项式插值二次插值三点法二次插值要求已知fff在三个点x1<x2<x3x_1&原创 2021-09-04 12:46:13 · 1645 阅读 · 0 评论 -
数学工具--几何
目录几何点到直线的距离几何点到直线的距离求一点x∗x^*x∗到直线wTx+b=0w^Tx+b=0wTx+b=0的距离等价于求:minx 12∣∣x−x∗∣∣22s.t.wTx+b=0\begin{aligned}{\underset {x}{\operatorname {min} }} \,&\frac{1}{2} ||x-x^*||_2^2\\s.t.\quad &w^Tx+b=0\\\end{aligned}xmins.t.21∣∣x−x∗∣∣22wTx+b=0原创 2021-08-16 10:22:45 · 74 阅读 · 0 评论 -
数学工具--高等代数
目录高等代数矩阵与线性变换特征值分解,SVD分解,Moore-Penrose伪逆高等代数矩阵与线性变换要理解线性变化,首先要给出线性空间的定义:(线性空间)设KKK是一个数域,VVV是一个集合,在VVV上定义了一个加法"+",使得对VVV中任意两个元素α,β\alpha, \betaα,β,总存在VVV中唯一的元素γ\gammaγ满足γ=α+β\gamma = \alpha + \betaγ=α+β。在数域KKK与VVV间定义数乘运算,使得对KKK中任一数k及VVV中任一元素α\alphaα,总存原创 2021-08-16 10:20:41 · 181 阅读 · 0 评论 -
数学工具--概率统计
目录概率统计Hoeffding不等式,Markov不等式概率统计Hoeffding不等式,Markov不等式Markov不等式(Markov不等式)对于任何非负随机变量X,∀ϵ>0\forall \epsilon > 0∀ϵ>0,有:P(X≥ϵ)≤E(X)ϵP(X \geq \epsilon) \leq \frac{E(X)}{\epsilon}P(X≥ϵ)≤ϵE(X)Proof: E(X)=∫0∞xf(x)dx≥∫ϵ∞xf(x)dx≥∫ϵ∞ϵf(x)dx=ϵP(X≥ϵ)原创 2021-08-16 10:19:22 · 140 阅读 · 0 评论