Introduction to Linear Algebra, Chapter-1, Introduction to Vectors, Key Notes

Introduction to Linear Algebra, Chapter-1, Introductionto Vectors, Key Notes

本人在阅读MIT数学教授Gilbert Strang所著线性代数教材"Introduction to Linear Algebra(Fifth Edition)"过程中敲下的笔记

我是用的教学视频是BV1uK4y187ep

课后习题答案即其相关资料可参照math.mit.edu/linearalgebra

1.1 Vectors and Linear Combinations

Column Vector（列向量）
$$\overrightarrow{v}=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$$

Vector Addition（向量加法）
$$\overrightarrow{v}=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right],\overrightarrow{w}=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right],\overrightarrow{v}+\overrightarrow{w}=\left[\begin{array}{c}{v}_1+w_1\\ v_2+w_2\end{array}\right]$$

Scalar Multiplication（标量乘法）
$$c\overrightarrow{v}=\left[\begin{array}{c}c{v}_1\\ c{v}_2\end{array}\right]$$

Linear Combination（线性组合）
$$c\overrightarrow{v}+d\overrightarrow{w}=\left[\begin{array}{c}c{v}_1+d{w}_1\\ c{v}_2+d{w}_2\end{array}\right]$$

1.2 Length and Dot Products

Dot Product/Inner Product（向量的点积/内积）
$$\overrightarrow{v}\cdot \overrightarrow{w}=v_1{w}_1+v_2{w}_2$$
当两个向量的点积为0时，这两个向量相互垂直（perpendicular）

DEFINITION: Length of Vecter $||\overrightarrow{v}||$ if the squre root of $\overrightarrow{v}\cdot \overrightarrow{v}$
定义：一个向量的模（长度）是它自己和自己的点积的平方根。

$$\mathbf{l}\mathbf{e}\mathbf{n}\mathbf{g}\mathbf{t}\mathbf{h}=||\overrightarrow{v}||=\sqrt{\overrightarrow{v}\cdot \overrightarrow{v}}=(v_1^2+v_2^2+\cdots +v_n^2{)}^{1/2}$$

DEFINITION: A unit vector is a vector whose length is 1
定义：模长为1的向量叫做单位向量
$$\mathbf{U}\mathbf{n}\mathbf{i}\mathbf{t}\mathbf{V}\mathbf{e}\mathbf{c}\mathbf{t}\mathbf{o}\mathbf{r}\mathbf{s}:\overrightarrow{u}\cdot \overrightarrow{u}=1$$

produce a unit vector in the same direction as $\overrightarrow{v}$ from $\overrightarrow{v}$
$$\overrightarrow{u}=\overrightarrow{v}/||\overrightarrow{v}||$$

COSINE FORMULA
if $\overrightarrow{v}$ and $\overrightarrow{w}$ are nonzeoro vectors, then
$$\cos \theta =\frac{\overrightarrow{v}\cdot \overrightarrow{w}}{||\overrightarrow{v}||||\overrightarrow{w}||}$$
$\theta$ is the angle from $\overrightarrow{v}$ to $\overrightarrow{w}$

SCHWARZ INEQUALITY（施瓦尔兹不等式）
$$\overrightarrow{v}\cdot \overrightarrow{w}\le ||\overrightarrow{v}||||\overrightarrow{w}||$$
as $\cos \le 1$

TRIANGLE INEQUALITY（三角不等式）
$$||\overrightarrow{v}+\overrightarrow{w}||\le ||\overrightarrow{v}||+||\overrightarrow{w}||$$

几何平均与算数平均
$$\sqrt{xy}\le \frac{1}{2}(x+y)$$
can be proved if we let $x=a^2$ and $y=b^2$

1.3 Matrices

矩阵与向量相乘，得到的结果是原矩阵的各个列的线性组合
$A\overrightarrow{x}$ outputs a combination of the columns of $A$

逆矩阵
$$A\overrightarrow{x}=\overrightarrow{b}\overrightarrow{x}=A^{-1}\overrightarrow{b}$$

书本这里使用一个特殊的例子把矩阵求逆和微积分做了类比，挺精彩的，建议看网课或者教材。

Independence and Dependence（线性相关和线性无关）

令$A=\left[\begin{array}{c}\overrightarrow{u},\overrightarrow{v},\overrightarrow{w}\end{array}\right],A\overrightarrow{x}=\overrightarrow{b}$

如果这三个向量线性相关（dependent），则$\overrightarrow{w}$在$\overrightarrow{v}$和$\overrightarrow{n}$组成的平面上，如果这三个向量线性无关（inpedendent），则$\overrightarrow{w}$不在$\overrightarrow{u}$和$\overrightarrow{v}$组成的平面上。

如果$\overrightarrow{u},\overrightarrow{v},\overrightarrow{w}$线性无关，只有$0\overrightarrow{u}+0\overrightarrow{v}+0\overrightarrow{w}$才能让$\overrightarrow{b}=0$，如果$\overrightarrow{u},\overrightarrow{v},\overrightarrow{w}$线性相关，一定存在其他组和可以让$\overrightarrow{b}=0$

如果$\overrightarrow{u},\overrightarrow{v},\overrightarrow{w}$线性无关，则$A\overrightarrow{x}=\overrightarrow{0}$只有一个解且$A$可逆，如果$\overrightarrow{u},\overrightarrow{v},\overrightarrow{w}$线性相关则$A\overrightarrow{x}=\overrightarrow{0}$有无穷多的解且矩阵$A$不可逆（奇异矩阵）

有趣的习题

1.2.32 证明对于三个元素证明几何平均$\le$算术平均

证明：$\sqrt{xyz}\le \frac{1}{3}(x+y+z)$
显然，当$x=y=z$是，原不等式成立，其他情况下设$z\le x\le y$，并令$A=\frac{1}{3}(x+y+z)$，则$z<A<y$
对于$x$和$y+z-A$两个数，使用对于两个数字的几何平均$\le$算术平均不等式，有$\sqrt{x(y+z-A)}\le \frac{1}{2}(x+y+z-A)=A$
$\therefore x(y+z-A)A\le A^3$
$\therefore x[(y-A)(A-z)+yz]\le A^3$
$\because (y-A)(A-z)>0$
$\therefore xyz\le A^3$
${\therefore }^3\sqrt{xyz}<A=\frac{1}{3}(x+y+z)$
综上，${}^3\sqrt{xyz}\le \frac{1}{3}(x+y+z)$得证

1.2.34（这道题目有点小错误啊）

题面：
首先，我们随机生成一个三维单位向量$\overrightarrow{u}$，然后，我们随机生成一组三维单位向量$U$，然后，对于每一个$\overrightarrow{U_i}$，计算$|\overrightarrow{u}\cdot \overrightarrow{U_i}|$，即$|\cos (\theta )|$，然后计算所有内积的平均值$a=\frac{1}{n}{\sum }_{i=1}^{i=n}|\overrightarrow{u}\cdot \overrightarrow{U_i}|$，从微积分的角度来讲，$a$的值应该接近$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$。

解题过程：
一开始，我严格按照题目要求计算了这个平均值，发现$a\approx .5$，而$\frac{2}{\pi }\approx 0.637$，这个差距就有点大了。

我最开始怀疑，是不是因为用randn函数随机生成向量，导致生成的单位向量在三维球面上不能均匀分布，于是我（不怎么严谨的）通过可视化数据的方式查看了一下随机生成的数据，发现分布的很均匀，问题不在这里。

然后，我重新看了几遍体面，发现体面给的这个定积分$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$的隐含假设是$\theta$在$[0,\pi ]$上均匀分布，对于随机生成的二维单位向量，向量的“终点”均匀分布在单位圆上，所以$\theta$也是均匀分布的，但如果是对于三维单位向量，虽然其终点在单位球上均匀分布，但是$\theta$未必是均匀分布了。

我用Python验证了一下我的猜想，结果如下：

这是针对二维单位向量的结果，可以看到测试样本均匀分布在单位圆上，$\theta$也基本呈现均匀分布，所以计算出的均值和理论值$2/\pi$基本接近。

这是针对三维单位向量的结果，可以看到测试样本均匀分布在单位球上，但是$\theta$就不是均匀分布的了，这也导致使用三维向量计算出的$a=\frac{1}{n}{\sum }_{i=1}^{i=n}|\overrightarrow{u}\cdot \overrightarrow{U_i}|\approx 0.5$，与定积分$\frac{1}{\pi }{\int }_0^{\pi }|\cos \theta |\delta \theta =\frac{2}{\pi }$相去甚远。

我承认，MIT教材中引入微积分进行类比的操作让我眼前一亮，但是这一道思考题明显出了一点小差错（难不成是故意的？）

这是网站上这道题目的官方答案：

我的代码：

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from mpl_toolkits import mplot3d

dim = 3
size = 2000
sns.set()

u = np.random.randn(dim)
u = u / np.linalg.norm(u)

sample = np.random.randn(dim, size)
s = 0
theta = []

for i in range(size):
    v = sample[:, i]
    v = v / np.linalg.norm(v)
    s = s + abs(u.dot(v))
    theta.append(np.arccos(u.dot(v)))
    sample[:, i] = v

s = s / size

if dim == 2:
    plt.figure(figsize=(5, 5))
    plt.scatter(sample[0], sample[1], s=0.1)
    plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}')
    plt.show()

    plt.figure(figsize=(5, 5))
    plt.hist(theta, bins=30)
    plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}')
    plt.show()

if dim == 3:
    fig, ax = plt.figure(), plt.axes(projection='3d')
    ax.scatter3D(sample[0], sample[1], sample[2], s=0.5)
    ax.set_title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}')
    fig.show()

    plt.figure(figsize=(5, 5))
    plt.hist(theta, bins=30)
    plt.title(f'dim={dim}, ave={s:.3f}, {2 / np.pi=:.3f}, {size=}')
    plt.show()

我的1.2习题解答

我的1.3习题解答