矩阵与凸优化(1) 向量

最新推荐文章于 2024-01-07 02:10:06 发布

纳豆哥哥

最新推荐文章于 2024-01-07 02:10:06 发布

阅读量1.2k

点赞数

分类专栏：基础数学文章标签：线性代数向量

本文链接：https://blog.csdn.net/qq_36268755/article/details/83040823

版权

基础数学专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、向量与向量空间

1.向量：

2.向量空间：关于向量加法和数乘封闭的向量集合，且满足：

（1）向量加法结合律：u + (v + w) = (u + v) + w；

（2）向量加法交换律：v + w = w + v；

（3）向量加法的单位元：V 里有一个叫做零向量的 0，∀ v ∈ V , v + 0 = v；

（4）向量加法的逆元素：∀v∈V, ∃w∈V，使得 v + w = 0；

（5）标量乘法分配于向量加法上：a(v + w) = a v + a w；

（6）标量乘法分配于域加法上: (a + b)v = a v + b v；

（7）标量乘法一致于标量的域乘法: a(b v) = (ab)v；

（8）标量乘法有单位元: 1 v = v, 这里 1 是指域 F 的乘法单位元。

3.向量子空间：设V是一个向量空间，W $\subset$ V，若W关于B的加法、数乘封闭，则W是一个子空间

四个基本子空间：

（1）列空间：矩阵A的列向量组成的线性空间

（2）行空间：矩阵A的行向量组成的线性空间

（3）零空间：满足 $A\vec{x}=\vec{0}$ 的所有向量组成的向量空间

（4）左零空间：满足 $\vec{x}^{T}A=\vec{0}$ 的所有向量组成的向量空间

二、线性相关与线性无关

1.定义：对于向量空间V中的一组向量 $\alpha _{1}$ 、 $\alpha _{2}$ 、…、 $\alpha _{m}$ ，如果存在一组不全为0的数 $k_{1}$ 、 $k_{2}$ 、… $k_{m}$ 使得 $k_{1}\alpha _{1}+k_{2}\alpha_{2} +...+k_{m}\alpha_{m}=0$ 则称这组向量线性相关，否则称为线性无关

2.理解：

角度	线性相关	线性无关
能否互相线性表示	向量组中至少有一个向量可以由其他向量线性表示	向量组中任意向量均不能由其他向量线性表示
齐次线性方程组是否有解	方程组 $x_{1}\alpha_{1}+x_{2}\alpha_{2}+...+x_{m}\alpha_{m}=0$ 有非零解	方程组 $x_{1}\alpha_{1}+x_{2}\alpha_{2}+...+x_{m}\alpha_{m}=0$ 只有零解
行列式的值	以 $\alpha_{1}$ , $\alpha_{2}$ ,..., $\alpha_{m}$ 为列(行)向量组的矩阵的行列式等于零	以 $\alpha_{1}$ , $\alpha_{2}$ ,..., $\alpha_{m}$ 为列(行)向量组的矩阵的行列式不等于零
线性表示出另一向量的方式	若向量 $\beta$ 可以由向量组 $\alpha_{1}$ , $\alpha_{2}$ ,... $\alpha_{m}$ 线性表示,则表示方式有无数种	若向量 $\beta$ 可以由向量组 $\alpha_{1}$ , $\alpha_{2}$ ,... $\alpha_{m}$ 线性表示,则表示方式唯一

三、基与线性生成空间

1.基：向量空间V中满足线性无关且可以线性表示出向量空间V中任意向量的一组向量，向量的个数即向量空间的维数

某一向量空间的基不是唯一的

基给出了定量描述线性结构的方法

2.给定基下的坐标：设 $\alpha_{1}$ 、 $\alpha_{2}$ 、…、 $\alpha_{n}$ 是线性空间 $V_{n}$ 的一个基，对于任意元素 $\alpha\in V_{n}$ ,总有且仅有一组有序数 $x_{1}$ 、 $x_{2}$ 、…、 $x_{n}$ ，使 $\alpha=x_{1}\alpha_{1}+x_{2}\alpha_{2}+...+x_{n}\alpha_{n}$ ，该有序数组称为元素 $\alpha$ 在该基下的坐标

四、向量范数

1.定义：是一种具有长度概念的函数，可以实现向量空间到实数的映射，向量范数用来表征向量空间中向量的大小

2.常用范数：
（1）L-p范数

$L_{p}=\left \| x \right \|_{p}=({\sum_{i=1}^{n}}x_{i}^{p})^{}\frac{1}{p}$

（2）L0范数

$\left \| x \right \|_{0}$ 表示向量中非零元素的个数

（3）L1范数（曼哈顿距离、最小绝对误差）

$\left \| x \right \|_{1}=\sum_{i=1}^{n}\left | x_{i} \right |$

$\left \| x \right \|_{1}$ 表示向量中非零元素的绝对值之和

（4）L2范数（欧式距离）

$\left \| x \right \|_{2}=\sqrt{\sum_{i=1}^{n}x_{i}^{2}}$

（5） $L_{\infty }$ 范数与 $L_{-\infty }$ 范数

$L_{\infty }$ 范数表示向量元素绝对值的最大值

$L_{-\infty }$ 范数用来表示向量元素绝对值的最小值

（）

3.范数在机器学习中的应用

（1）作用：用来规则化参数，包括约束模型特性（如稀疏、低秩、平滑等），防止模型复杂度过高、过拟合、模型参数数目大于训练样本数目等，达到在保证模型简单的基础上最小化训练误差，使模型具有很小的测试误差（泛化能力）

（2）具体使用（以监督学习为例）

监督学习主要实现最小化目标函数，即：

$\omega ^{*}=arg min \sum_{i}^{ }L(y_{i},f(x_{i};\omega))+\lambda\Omega(\omega)$

式中第一项用来衡量模型对第i个样本的预测值 $f(x_{i};\omega)$ 与实际值（标签）之间的误差，不同的Loss函数具有不同的拟合特性； $\Omega(\omega)$ 为参数的规则化函数（一般是模型复杂度单调递增函数）； $\lambda$ 为超参，用来平衡loss项与规则项， $\lambda$ 越大表示规则相比训练模型误差更重要