线性代数1-向量和向量空间

同步于Buracag的博客;音尘杂记

后续几篇笔记主要想回顾整理一下需要用到的数学基础知识，主要包括了线性代数、微积分、概念论、数学优化和信息论等内容。相对比较基础，权当复习回顾完善整个知识体系结构。错误之处，还望诸君不吝指教。

1. 向量

标量（Scalar）是一个实数，只有大小，没有方向。而向量（Vector）是由一组实数组成的有序数组，同时具有大小和方向。例，一个n维向量a 是由n个有序实数组成，表示为：
$$a=[a_1,a_2,...,a_n],\text{\hspace{1em}(1.1)}$$
其中$a_i$称为向量a的第$i$个分量，或第$i$维。向量符号通常用黑体小写字母$a,b,c$或小写希腊字母$\alpha ,\beta ,\gamma$ 等来表示。

2. 向量空间

向量空间（Vector Space），也称线性空间（Linear Space），是指由向量组成的集合，并满足以下两个条件：

• 向量加法：向量空间$V$中的两个向量a和b，它们的和a + b也属于空间$V$；

• 标量乘法：向量空间$V$中的任一向量a和任一标量$c$，它们的乘积$c\cdot a$也属于空间$V$。

欧氏空间 一个常用的线性空间是欧氏空间（Euclidean Space）。一个欧氏空间表示通常为${\mathbb{R}}^n$，其中n为空间维度（Dimension）。欧氏空间中向量的加法和标量乘法定义为：

其中$a,b,c\in \mathbb{R}$为一个标量。

线性子空间 向量空间$V$的线性子空间$U$是$V$的一个子集，并且满足向量空间的条件（向量加法和标量乘法）。

线性无关 线性空间$V$中的一组向量$v_1,v_2,...,v_n$，如果对任意的一组标量${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，满足${\lambda }_1{v}_1+{\lambda }_2{v}_2+\cdot ...+{\lambda }_n{v}_n=0$，则必然${\lambda }_1={\lambda }_2=...={\lambda }_n=0$，那么$v_1,v_2,...,v_n$是线性无关的，也称为线性独立的。

基向量 向量空间$V$的基（Base）$B=e_1,e_2,...,e_n$ 是$V$的有限子集，其元素之间线性无关。向量空间$V$所有的向量都可以按唯一的方式表达为$B$中向量的线性组合。对任意$v\in V$，存在一组标量$({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$ 使得:
$$v={\lambda }_1{e}_1+{\lambda }_2{e}_2+...+{\lambda }_n{e}_n\text{\hspace{1em}(1.4)}$$
其中基$B$中的向量称为基向量（Base Vector）。如果基向量是有序的，则标量$({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$ 称为向量$v$关于基$B$的坐标（Coordinates）。

n维空间$V$的一组标准基（Standard Basis）为:

向量空间$V$中的任一向量$v=[v_1,v_2,...,v_n]$可以唯一的表示为:
$$[v_1,v_2,...,v_n]=v_1{e}_1+v_2{e}_2+...+v_n{e}_n,\text{\hspace{1em}(1.9)}$$
其中$v_1,v_2,...,v_n$也称为向量$v$的笛卡尔坐标（Cartesian Coordinate）。向量空间中的每个向量可以看作是一个线性空间中的笛卡儿坐标。

内积** 一个n维线性空间中的两个向量$a$和$b$，其内积为:
$$⟨a,b⟩=\sum _{i=1}^n{a}_i{b}_i,\text{\hspace{1em}(1.10)}$$
正交 如果向量空间中两个向量的内积为0，则它们正交（Orthogonal）。如果向量空间中一个向量$v$与子空间$U$中的每个向量都正交，那么向量$v$和子空间$U$正交。

3. 常见的向量

全0向量指所有元素都为0的向量，用0表示。全0向量为笛卡尔坐标系中的原点。

全1向量指所有值为1的向量，用1表示。

one-hot向量为有且只有一个元素为1，其余元素都为0 的向量。one-hot向量是在数字电路中的一种状态编码，指对任意给定的状态，状态寄存器中只有1位为1，其余位都为0。

4. 范数

范数（Norm）是一个表示向量“长度”的函数，为向量空间内的所有向量赋予非零的正长度或大小。对于一个n维向量v，一个常见的范数函数为${\ell }_p$范数
$${\ell }_p(v)=\parallel v{\parallel }_p={(\sum _{i=1}^n|v_i{|}^p)}^{1/p},\text{\hspace{1em}(1.11)}$$
其中$p\ge 0$为一个标量的参数。常见的$p$的取值有1，2，$\infty$等。

${\ell }_1$范数 ， $p=1$
$${\ell }_1(v)=\sum _{i=1}^n|v_i|,\text{\hspace{1em}(1.12)}$$
${\ell }_2$范数 ， $p=2$
$${\ell }_2(v)=\sqrt{\sum _{i=1}^n|v_i{|}^2}=\sqrt{v^{T}v},\text{\hspace{1em}(1.13)}$$
${\ell }_2$范数又称为Euclidean范数或者Frobenius范数。从几何角度，向量也可以表示为从原点出发的一个有向线段，其${\ell }_2$范数为线段的长度，也常称为向量的模。

${\ell }_{\infty }$**范数 **， $p=\infty$,表示为各个元素的最大绝对值
(1.14) ℓ ∞ ( v ) = ∣ ∣ v ∣ ∣ ∞ = m a x { v 1 , v 2 , . . . , v n } , \ell_{\infty}(v) = ||v||_{\infty} = max\{v_1,v_2, ..., v_n\}, \tag{1.14} ℓ∞​(v)=∣∣v∣∣∞​=max{v1​,v2​,...,vn​},(1.14)

主要参考https://github.com/nndl/nndl.github.io