tomheaven的专栏

旅行商问题（Traveling Salesman Problem，TSP）是一个经典的组合优化问题：说有一个商品推销员要去若干个城市推销商品，该推销员从一个城市出发，需要经过所有城市后，回到出发地。请问他应如何选择行进路线，以使总的行程最短？

1. 从观察出发——回归问题在统计学中，我们认为一个变量是服从某种理想分布的，称为理想变量。而为了获得理想变量的值，我们需要去观察这个世界，并得到观察数据，称为观察变量。观察变量与理想变量之间的函数关系被称为观察模型。设观察数据为xi∈Rpx_i \in R^p，理想数据为yi∈Ry_i \in R，观察模型为线性模型 yi=xTiβ+ηi(1)\begin{equation}y_i = x_i

前一段时间学习了无约束最优化方法，今天用Matlab实现了求解无约束最优化问题的FR共轭梯度法。关于共轭梯度法的理论介绍，请参考我的另一篇文章 无约束最优化方法学习笔记。文件testConjungateGradient.m用于测试共轭梯度法函数。测试文件需要定义函数ff和自变量xx，给定迭代初值x0x_0和允许误差ϵ\epsilon。函数设置了show_detail变量用于控制是否显示每一步的迭代信

在无约束最优化问题的基础上，我们可以进一步来求解约束最优化问题。约束最优化问题的一般形式为： minf(x)s.t.gi(x)≥0,i=1,...,m\begin{aligned}&\min f(x) \\ &s.t. \quad g_i(x)\ge0, i=1,...,m \end{aligned}先考虑gi(x)g_i(x)均为线性函数的情况，此时问题与线性规划的约束条件相同，仅仅

这一段时间学习优化理论中的一些经典方法，写下一些要点和体会，帮助自己和有需要的人理解最优化方法。１.基础知识首先来看无约束最优化问题： minf(x)\begin{equation} \min f(x) \end{equation} 其中函数 f:Rn→Rf:R^n\rightarrow R.求解此问题的方法方法分为两大类：最优条件法和迭代法。所谓的最优条件法，是指当函数存在解析形式，能够通