快乐江湖的博客

如下是一个男女双方相互匹配相亲的例子，双方两两匹配，故可以形成一个匹配矩阵，其中每个元素为。为了使相亲结果更好就要使总的匹配度高，所以这时一个可以用最优化来解决的问题。在所有满足约束条件的决策变量中，使。位女生，那么该优化问题可以描述为。可行域包含的点称之为。的最小或最大值不存在，最优化问题的一般形式。，取值及相应含义如下。

稀疏优化：原始信号中绝大多数元素为0，在某种线性约束条件下，求一个使决策变量使其非零元素个数达到最小，其基本数学模型如下min∣∣x∣∣0,s.t.Ax=bmin∣∣x∣∣0​,s.t.Ax=b这类技术常常应用于通过部分信息恢复全部信息。例如下图假设读者评分仅与题材有关，那么就可以利用部分信息恢复全表。

范数：有别于标量，向量和矩阵并不能直接进行大小比较。所以向量范数和矩阵范数给出了一种长度计量方式向量范数（范数）：如果满足以下条件，那么就称一个从向量空间Rn\R^{n}Rn到实数域R\RR的非负函数||▪||为范数最常用的向量范数即我们所熟知的ppp范数（p≥1p \geq1p≥1）∣∣v∣∣p=(∑i=1n∣vi∣p)1p||v||_{p}=(\sum\limits_{i=1}^{n}|v_{i}|^{p})^{\frac{1}{p}}∣∣v∣∣p​=(i=1∑n​∣vi​∣p)p1​​（2）向量范

仿射集：如果过集合CCC中任意两点的直线都在CCC内，那么称集合CCC是仿射的，也即CCC为仿射集。由于前面已经给出了直线的表达式，所以这里可以等价描述为：对于任意的x1,x2∈Cx1​,x2​∈C及θ∈Rθ∈R，都有θx1+(1−θ)x2∈Cθx1​+(1−θ)x2​∈C，也即x1,x2∈C=>θx1+(1−θ)x2∈C,∀θ∈Rx1​,x。

超平面：任取非零向量a∈Rna\in \R^{n}a∈Rn，形如{x∣aTx=b},a≠0,b∈R\{x|a^{T} x=b\},a\not=0,b\in R{x∣aTx=b},a=0,b∈R的集合称之为超平面上述定义还可以表示为：{x∣aT(x−x0)=0}\{x|a^{T} (x-x_{0})=0\}{x∣aT(x−x0​)=0}下图：是由R2R^{2}R2中由法向量aaa和超平面上一点x0x_{0}x0​确定的超平面，对于超平面上任意一点xxx，x−x0x-x_{0}x−x0​都垂直于aaa超平

保凸运算CC利用凸集构造凸集①②③④。

集合中任何子系列的极限点都属于本集合（这些极限点可能是内点，也可能是界点）给定一个平面后，可以把凸集边界上的任意一点当成支撑点，然后将凸集放在该平面上。不是凸集，所以无法使用超平面对其划分，而必须使用更加复杂的平面。：界点都是集合中某子系列的极限点，且属于本集合。中的2个凸集，可以使用超平面划分。

梯度：给定函数f:Rn→Rf:\R^{n}\rightarrow \Rf:Rn→R，且fff在点xxx的一个领域内有意义，若存在向量g∈Rng\in R^{n}g∈Rn满足limp→0f(x+p)−f(x)−gTp∣∣p∣∣=0\mathop{lim} \limits_{p\rightarrow 0}\frac{f(x+p)-f(x)-g^{T}p}{||p||}=0p→0lim​∣∣p∣∣f(x+p)−f(x)−gTp​=0就称fff在xxx处可微（Frechet可微）。此时ggg称为fff在点xxx处的

通用定义凸函数：设f:Rn→Rf:Rn→R为适当函数，如果fff的定义域是凸集，且f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)对所有x,y∈fx,y\in fx,y∈f的定义域，0≤θ≤10≤θ≤1都成立，则称fff是凸函数若fff是凸函数，则−f-f−f。

由于任意多个凸集的交集还是凸集，所以。是凸集，根据上方图的性质容易推出。

次梯度定义：设fff为适当凸函数，xxx为定义域domfdom fdomf中的一点，若向量g∈Rng\in R^{n}g∈Rn，满足f(y)≥f(x)+gT(y−x),∀y∈domff(y)≥f(x)+gT(y−x),∀y∈domf则称ggg为函数fff在点xxx的一个次梯度。进一步地，称集合∂f(x)={g∣g∈Rn,f(y)≥f。

优化建模：优化模型是一类重要的数学模型，它是利用数学的方式来刻画一个真实问题，建模的过程通常设计如下步骤定义目标查找相关文献建立模型并收集数据初始测试验证模型可以以运输问题为例来说明优化建模的过程：假如有若干仓库和市场，仓库需要向市场供应一定量的货物，而每条供应线路都需要一定费用，那么这里优化模型就是在满足供货的情况下选择一种花费最低的方案目标函数就是运输的总费用约束就是库存和市场需求等方面的限制优化建模关注的是对一个实际问题建立合适的优化模型，也即我们要确定优化问题的目标函数和。

回归分析：在统计学和大数据中回归分析的定义分别为统计学：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照设计变量多少，分为一元回归和多元回归分析；按照因变量的多少，可以分为简单回归分析和多重回归分析；按照自变量和因变量之间的关系，可以分为线性回归分析和非线性回归分析大数据：在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。

无穷集合。

考虑如下无约束优化问题minx∈Rnf(x)\mathop{min}\limits_{x\in R^{n}}f(x)x∈Rnmin​f(x)无约束优化问题是众多优化问题中最基本的一类问题，它对自变量xxx的取值范围不加限制，所以无需考虑xxx的可行性无约束优化问题的优化算法主要分为如下两类线搜索类型：根据搜索方向的不同可以分为如下几种，一旦确定了搜索的方向，下一步即沿着该方向寻找下一个迭代点信赖域类型：主要针对f(x)f(x)f(x)二阶可微的情形，它是在一个给定的区域内使用二阶模型近似原问题，通过不断直接

梯度类算法：梯度类算法本质是使用函数的一阶导数信息选取下降方向dkd^{k}dk，这其中最基本的算法是梯度下降法，也即直接选择负梯度作为下降方向dkd^{k}dk，此外还有BB方法，是一种梯度法的变形，虽然理论性质目前仍不完整，但由于它有优秀的数值表现，也是在实际应用中使用较多的一种算法梯度下降法（Gradient descent，GD）：使用梯度下降法寻找函数极小值时，会沿着当前点对应梯度（或近似梯度）的反方向ddd所规定的步长α\alphaα内进行迭代搜索。当然如果沿着梯度正方向搜索，就会接近函数的局部

带线搜索的修正牛顿法。