可由线性表示且表达式唯一_动机：线性组合，线性独立，秩（1）

定义线性组合、线性独立的动机：

在线性优化中，我们常遇到解线性方程组的问题。例如解下面的三元一次方程组：

一种方法是引入“向量”u,v,w,b,由下式给出：

,

,

,

,

则上述线性方程组可以写为：

,

写成这个式子，我们隐含的用到了向量的数乘运算和加法运算。

我们将所有三维列向量组成的集合记为

，之所以用

而不是用

，是因为

表示的是有3行1列的向量，而

表示的是所有的

三维行向量。

形如

的式子叫作一个

线性组合。因此解上面的线性方程组的问题

也可以等价的看成是向量b是否可以表示成关于向量u,v,w的线性组合。

现在，如果向量u,v,w是线性独立的，即不存在非零向量

,使得等式

成立。可以证明，假如向量u,v,w线性独立，对于

中的任意向量都可以表示成u,v,w的线性组合。而且进一步的，对于任意的向量

,都可以

唯一的写成线性组合：

。

现在的问题是：给定一组向量，我们如何判断他们是否是线性无关的？一种方法是计算行列式det(u,v,w)的值，当

，则向量u,v,w线性无关。

还有其他的方法可以回答这个问题，对于有很多变量的线性方程组更适用。比如对系数矩阵进行L-U分解，或者Q-R分解，以及SVD分解。以上面的线性方程组为例，这个线性方程组的系数矩阵即为：

。如果我们把未知向量表示成：

,则线性组合

也可以写成矩阵的形式：

，因此前面的线性方程组可以表示为：

，

或更简洁的，Ax=b。、

例如我们考虑对于向量

，

，

是否线性无关，我们发现有：u-v=w,即向量组u,v,w是线性相关的。可以证明向量u,v是线性独立的。还是考虑

，那么解线性方程组

可以看成向量b是否写成关于向量u,v的线性组合。答案是否定的。（u,v,b是线性无关的）因此向量b不能由u,v线性表出。即这个线性方程组无解。

但如果我们把向量b换成

，则b=u+v，因此方程组

有解，其中一个解为

。实际上，由于w=u-v,上面的线性方程组可以改写为：

,由于向量u,v是线性独立的，因此作为关于变量

的方程组，有唯一解，且可求出其唯一解的表达式为：

，也就是原线性方程组有无数多个解，解的表达式为：

综上所述，可以看到一个

的线性方程组的解可能有唯一解，无解，无数多个解这三种情况，取决于向量u,v,w,b的线性相关情况。这种情形可以推广到

的线性方程组，或者

的线性方程组。