![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
optimization
文章平均质量分 85
Frankkk_
这个作者很懒,什么都没留下…
展开
-
[最优化]求解线性规划问题的单纯形算法
单纯形算法1947年,丹齐格提出了一种求解线性规划问题的方法,即今天所称的单纯形法,这是一种简洁且高效的算法,被誉为20世纪对科学发展和工程实践影响最大的十大算法之一。 上文提到线性规划问题的最优解一定是基本可行解,单纯形法的思路即在不同的基向量下求不同的基本可行解,然后找到最优的解。从几何的角度来看,也就是从一个极点转换到另一个极点,直至找到最优极点的过程。 那么这样的话可以把算法分成三...原创 2018-05-04 10:41:04 · 2162 阅读 · 0 评论 -
[最优化]求解线性方程组(3)
求解线性方程组(3)矩阵的伪逆这里所介绍的伪逆是Moore-Penrose逆矩阵,其定义为:给定矩阵A∈Rm∗nA∈Rm∗nA\in R^{m*n},如果矩阵A†∈Rn∗mA†∈Rn∗mA^{\dagger}\in R^{n*m}满足AA†A=AAA†A=AAA^{\dagger}A=A,且存在两个矩阵U∈Rn∗n,V∈Rm∗mU∈Rn∗n,V∈Rm∗mU\in R^{n*n},V\in ...原创 2018-07-26 22:24:16 · 1514 阅读 · 0 评论 -
[最优化]求解线性方程组(2)
求解线性方程组(2)线性方程组的最小范数解上一篇博文介绍了线性方程组的情况之一,即未知数数量小于方程个数的情况,介绍了最小二乘法,在本文中将介绍线性方程组的另一种情况,即方程个数小于未知数数量的情况,此时方程组有无限多的解,但是最接近原点的解,即范数最小的解只有一个,也就是这里将会介绍的线性方程组的最小范数解。考虑线性方程组Ax=bAx=bAx=b,其中A∈Rm∗n,m≤nA∈Rm...原创 2018-07-21 18:02:02 · 3921 阅读 · 0 评论 -
[最优化]求解线性方程组(1)
求解线性方程组(1)最小二乘分析在本文中将讨论线性方程组中的一种情况的求解,即考虑线性方程组 Ax=bAx=bAx=b其中,A∈Rm∗n,b∈Rm,m≥n,rank(A)=nA∈Rm∗n,b∈Rm,m≥n,rank(A)=nA\in R^{m*n},b\in R^{m},m\ge n,rank(A)=n,在这种情况下,未知数的数量小于方程的数量,所以在很大可能上bbb不在AA...原创 2018-07-20 21:17:02 · 2227 阅读 · 0 评论 -
[机器学习]机器学习中的数值计算(1)
机器学习中的数值计算机器学习算法通常需要大量的数值计算,即通过迭代求解近似值而非求得解析解。这些算法通常包括最优化和线性方程组的求解,在计算机中要通过有限位来表示各种浮点数是具有一定误差的,需要通过一些方法来保证我们的计算精度。上溢与下溢上溢(overflow)是具有破坏力的,当大量级的数被近似为−∞−∞-\infty或者∞∞\infty时会发生上溢,这会导致在下一步的计算中,数字变成...原创 2018-07-14 18:05:22 · 1690 阅读 · 0 评论 -
[最优化]不等式约束的优化问题求解
不等式约束的优化问题求解与前文讨论的只含等式约束的优化问题求解类似,含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解 对于一般形式的优化问题: minimizef(x)subject toh(x)=0g(x)≤0minimizef(x)subject toh(x)=0g(x)≤0minimize\quad f(x)\\subject\ to\quad h(x...原创 2018-06-08 16:31:23 · 14586 阅读 · 0 评论 -
[最优化]线性规划概述
线性规划在最优化问题中有一类问题被称作线性规划问题,属于有约束下的优化问题,线性规划是在线性约束条件下(等式或不等式)求解线性目标函数极值的问题。线性规划问题的标准模型线性规划的标准模型为 minimize cTxcTxc^{T}x subject to Ax=bx≥0Ax=bx≥0Ax=b\\x\ge0 所有的线性规划问题都可以转化成以上的标准型,例如某线性规划问...原创 2018-04-27 16:26:11 · 1639 阅读 · 0 评论 -
[最优化]等式约束的优化问题求解
等式约束的优化问题求解基本概念本文将讨论下类形状的优化问题 minimizef(x)subject toh(x)=0minimizef(x)subject toh(x)=0minimize\quad f(x)\\subject\ to\quad h(x)=0 其中x∈Rn,f:Rn→R,h:Rn→Rm,h=[h1,...,hm]T,m≤nx∈Rn,f:Rn→...原创 2018-05-18 11:01:35 · 5738 阅读 · 1 评论 -
[最优化]线性规划中的对偶问题
线性规划中的对偶问题每个线性规划问题都有一个与之对应的对偶问题,对偶问题也是一个线性规划问题,并且对偶问题的对偶问题是原问题。原问题的最优解可以由对偶问题得到,有时候利用对偶理论求解线性规划问题更加简单,也更能了解问题的本质。在对偶理论的启发下,单纯形法的性能得到了改进,也出现了一些求解线性规划问题的非单纯形法,本文暂不详解。对偶关系考虑如下形式的对偶问题 minimizecTxsu...原创 2018-05-11 13:38:34 · 16349 阅读 · 0 评论 -
[最优化]凸集的定义与常见凸集
凸集的定义与常见凸集通常认为,如果某个实际问题可以表述为凸优化问题,那么事实上已经解决了这个问题,然而凸优化问题的识别还比较困难,本文将先介绍凸集的定义与常见凸集。仿射集如果集合 C⊆RnC⊆RnC\subseteq R^{n} 是仿射的,等价于:对于任意的 x1,x2∈Cx1,x2∈Cx_{1},x_{2}\in C 及 θ∈Rθ∈R\theta \in R 有 θx1+(1−θ)x...原创 2018-08-31 18:40:27 · 20227 阅读 · 2 评论