1.线性空间与基
线性空间亦称向量空间。我们用的线性空间通常为实系数线性空间。
实系数线性空间是一个由向量组成的集合，向量之间可以做加减法，向量与实数之间可以做乘法，而且这些加，减，乘运算要求满足常见的交换律和结合律。我们也可以类似地定义其他系数的线性空间。
⚠️线性空间必须要有原点。例如一个有原点的平面就是一个线性空间（有了原点才能定义向量及其运算）。
‼️基是线性空间里的一组线性无关向量，使得任何一个向量都可以唯一的表示成这组基的线性组合。基给出了定量描述线性结构的方法：坐标系。坐标即为基的系数。
所以基是不唯一的，基的选择取决于要解决的问题。没有十全十美的基，只有适合解决问题的基。
2.线性映射与矩阵
👉线性映射是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算。线性映射的本质就是保持线性结构的映射。
👉线性变换是线性空间V到其自身的线性映射。
有的地方将线性映射和线性变换视为同义词，参考：线性映射。【数学基础】系列博客倾向于将其视为同义词，不再区分。
👉线性映射的矩阵描述：
V,W分别为n,m维的线性空间， α = { α 1 , . . . , α n } , β = { β 1 , . . . , β m } \alpha=\{ \alpha_1 , ... , \alpha_n \},\beta=\{ \beta_1 , ... , \beta_m \} α={α1,...,αn},β={β1,...,βm}分别为V,W的一组基。 T : V → W T:V \to W T:V→W是一个线性映射。于是 T , α , β T,\alpha,\beta T,α,β唯一决定一个矩阵 A α , β ( T ) = [ A i j ] m × n A_{\alpha,\beta}(T)=[A_{ij}]_{m\times n} Aα,β(T)=[Aij]m×n，使得：
T ( α j ) = ∑ i = 1 m A i j ∗ β i , ∀ j ∈ 1 , . . . , n (1) T(\alpha_j)=\sum^m_{i=1} A_{ij} * \beta_i , \forall j \in 1,...,n \tag{1} T(αj)=i=1∑mAij∗βi,∀j∈1,...,n(1)
式(1)等价于：
T ( α 1 , . . . , α n ) = ( β 1 , . . . , β m ) ⋅ A α , β ( T ) (2) T(\alpha_1,...,\alpha_n)=(\beta_1,...,\beta_m) \cdot A_{\alpha,\beta}(T) \tag{2} T(α1,...,αn)=(β1,...,βm)⋅Aα,β(T)(2)
简记为：
T ( α ) = β ⋅ A α , β ( T ) (3) T(\alpha)=\beta \cdot A_{\alpha,\beta}(T) \tag{3} T(α)=β⋅Aα,β(T)(3)
👉举个例子，假设我们现在有线性空间V，基为 { α 1 , α 2 } \{ \alpha_1,\alpha_2 \} {α1,α2}。我们将其逆时针旋转 θ \theta θ得到新的线性空间W，基为 { β 1 , β 2 } \{ \beta_1,\beta_2 \} {β1,β2}（假设基都为单位向量）。那么该如何描述这个旋转映射呢？
T ( β 1 ) = α 1 cos θ + α 2 sin θ = ( α 1 , α 2 ) [ cos θ sin θ ] T(\beta_1)=\alpha_1 \cos \theta + \alpha_2 \sin \theta = (\alpha_1 , \alpha_2 ) \begin{bmatrix} \cos \theta \\ \sin \theta \\ \end{bmatrix} T(β1)=α1cosθ+α2sinθ=(α1,α2)[cosθsinθ]
T ( β 2 ) = − α 1 sin θ + α 2 cos θ = ( α 1 , α 2 ) [ − sin θ cos θ ] T(\beta_2)=-\alpha_1 \sin \theta + \alpha_2 \cos \theta = (\alpha_1 , \alpha_2 ) \begin{bmatrix} -\sin \theta \\ \cos \theta \\ \end{bmatrix} T(β2)=−α1sinθ+α2cosθ=(α1,α2)[−sinθcosθ]
T ( β 1 , β 2 ) = ( α 1 , α 2 ) [ cos θ − sin θ sin θ cos θ ] (4) T(\beta_1,\beta_2)=(\alpha_1,\alpha_2) \begin{bmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{bmatrix} \tag{4} T(β1,β2)=(α1,α2)[cosθsinθ−sinθcosθ](4)
式(4)中的矩阵就是用来描述这个线性映射的。
👉再举另外一个例子，如果我们要将三维空间（基为 { α 1 , α 2 , α 3 } \{ \alpha_1 , \alpha_2 , \alpha_3 \} {α1,α2,α3}）线性映射到二维空间（基为 { β 1 , β 2 } \{ \beta_1,\beta_2 \} {β1,β2}）,假设有：
- T ( α 1 ) = β 1 T(\alpha_1)=\beta_1 T(α1)=β1
- T ( α 2 ) = β 2 T(\alpha_2)=\beta_2 T(α2)=β2
- T ( α 3 ) = β 1 + β 2 T(\alpha_3)=\beta_1+\beta_2 T(α3)=β1+β2
则：
T ( α 1 , α 2 , α 3 ) = ( β 1 , β 2 ) [ 1 0 1 0 1 1 ] T(\alpha_1,\alpha_2,\alpha_3)=(\beta_1,\beta_2) \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ \end{bmatrix} T(α1,α2,α3)=(β1,β2)[100111]
👉如果我们选取V,W的另外一组基， α ~ = α ⋅ P , β ~ = β ⋅ Q \widetilde{\alpha}=\alpha \cdot P,\widetilde{\beta}=\beta \cdot Q α =α⋅P,β =β⋅Q，那么存在矩阵 A α ~ , β ~ ( T ) A_{\widetilde{\alpha},\widetilde{\beta}}(T) Aα ,β (T)使得，
T ( α ~ ) = β ~ ⋅ A α ~ , β ~ ( T ) T(\widetilde{\alpha})=\widetilde{\beta} \cdot A_{\widetilde{\alpha},\widetilde{\beta}}(T) T(α )=β ⋅Aα ,β (T)
P,Q为基的变换矩阵。
例如有：
α 1 ~ = α 1 + 2 α 2 \widetilde{\alpha_1}=\alpha_1+2\alpha_2 α1 =α1+2α2
α 2 ~ = 3 α 1 + 4 α 2 \widetilde{\alpha_2}=3\alpha_1+4\alpha_2 α2 =3α1+4α2
则：( α 1 ~ , α 2 ~ ) = [ α 1 , α 2 ] [ 1 3 2 4 ] (\widetilde{\alpha_1},\widetilde{\alpha_2})=[\alpha_1,\alpha_2] \begin{bmatrix} 1 & 3 \\ 2 & 4 \\ \end{bmatrix} (α1 ,α2 )=[α1,α2][1234]
[ 1 3 2 4 ] \begin{bmatrix} 1 & 3 \\ 2 & 4 \\ \end{bmatrix} [1234]
即为基的变换矩阵。
两边分别代入 α ~ \widetilde{\alpha} α 和 β ~ \widetilde{\beta} β 得到，
T ( α ) ⋅ P = T ( α ⋅ P ) = β ⋅ Q ⋅ A α ~ , β ~ ( T ) T(\alpha) \cdot P = T(\alpha \cdot P)=\beta \cdot Q \cdot A_{\widetilde{\alpha},\widetilde{\beta}}(T) T(α)⋅P=T(α⋅P)=β⋅Q⋅Aα ,β (T)
与式(3)比较我们得到矩阵变换公式：
Q ⋅ A α ~ , β ~ ( T ) ⋅ P − 1 = A α , β ( T ) (5) Q \cdot A_{\widetilde{\alpha},\widetilde{\beta}}(T) \cdot P^{-1}=A_{\alpha,\beta}(T) \tag{5} Q⋅Aα ,β (T)⋅P−1=Aα,β(T)(5)
3.线性回归
线性回归模型：
X ⋅ β = Y (6) X \cdot \beta =Y \tag{6} X⋅β=Y(6)
👉代数解法：
一般来讲，样本个数大于自变量参数个数。所以方程个数大于这个方程的未知数个数，于是方程通常是没有解，长方形矩阵也一定没有逆矩阵。但是如果 X T X X^T X XTX是可逆矩阵（一般是满足的），那么代数上可以用如下方法求一个近似的解答：
X T X ⋅ β = X T Y X^T X \cdot \beta = X^T Y XTX⋅β=XTY
β = ( X T X ) − 1 X T Y (7) \beta = (X^T X) ^ {-1} X^T Y \tag{7} β=(XTX)−1XTY(7)
所以如若式(6)有解，就一定是式(7)。而如果式(6)没有解，式(7)也是一个合理的估计。
👉最小二乘法：【机器学习基础】第六课：线性回归。
[ A B C D ] − 1 = 1 A D − B C [ D − B − C A ] \begin{bmatrix} A & B \\ C & D \\ \end{bmatrix} ^ {-1} = \frac{1}{AD-BC} \begin{bmatrix} D & -B \\ -C & A \\ \end{bmatrix} [ACBD]−1=AD−BC1[D−C−BA]
4.参考资料
想要获取最新文章推送或者私聊谈人生，请关注我的个人微信公众号：⬇️x-jeff的AI工坊⬇️
个人博客网站：https://shichaoxin.com
GitHub：https://github.com/x-jeff
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
