线性代数笔记-3Blue1Brown：(一)

线性代数笔记-3Blue1Brown：(一)

bibi：https://www.bilibili.com/video/BV1ys411472E

Mathematics requires a small dose,not of genius but of an imaginative
freedom which,in a larger dose,would be insanity.
数学需要的不是天赋，而是少量的自由想象，但想象太多又会陷入疯狂。 ——安古斯.罗杰斯

【 这个系列旨在透过直观的线性变换来理解矩阵与向量运算。】

一、向量是什么？

物理学家把向量理解成一个有方向、有长度的箭头；
计算机学家把向量理解成一组有序的数字列表；
数学家试图将以上两种理解方式联系起来，向量可以是任何东西，只要保证两个向量的加法和乘法运算有意义即可。

线性代数中离不开“加法”和“乘法”这两个运算。
线性代数往往不是针对某一种理解方式作出解释，而是试图将各种理解方式联系起来、互相转化。

二、线性组合、张成的空间和基

• 对坐标的理解

  Think each coordinate as a scalar(将向量的每个坐标看做是标量)
  基向量$\vec{i},\vec{j}$就是这个标量缩放的对象，
  对任意向量$\vec{a}=$[3 2]，即可以表示成$\vec{a}=3\ast \vec{i}+2\ast \vec{j}$。

  Anytime we describe vectors mumerically,it depends an implicit choice
  of what basis vectors we’re using.
  坐标要有意义，首先要有个确定的坐标系。

• 向量的线性组合

  a linear combination : scala two vetors and add them

  对“线性”一词的理解？为什么这里用线性一词来描述？
  对$\vec{a}=k\ast \vec{i}+w\ast \vec{j}$，固定一个标量，另一个标量自由变换，所产生的向量的终点连接起来描绘出的是一条直线。

  两个标量都自由变换，就能够取到二维平面所有的向量。
  但当两个原始基向量共线时，所产生的向量被限制在一条直线上。

• 张成空间

  对$\vec{a}=k\ast \vec{i}+w\ast \vec{j}$，$\vec{i}$和$\vec{j}$的全部线性组合够成的向量集合。

  The span of two vectors is basically a way asking what all the possible vectors you can reach using two fundamental operations - vector addition and scalar multipication.

The span of two 3d vectors ：looks like 某个过原点的平面。
The span of three 3d vectors ：$v\ast \vec{a}+k\ast \vec{b}+w\ast \vec{c}$
（1）第三个向量在前两个向量张成的平面内：多出的这个向量并没有让我们走出这个平面，
（2）第三个向量不在前两个向量张成的平面内：张成的空间是三维空间，能取得三维平面所有向量。

• linearly dependent vs linearly independent

  （1）linearly dependent:
  对于【第三个向量已经落在前两个向量组成的空间中】和【两个向量共线】的情况，即一组基向量中，至少有一个是多余的，没有对张成空间起到贡献，可以删去。
  也可以说成是 第三向量可以用前两个向量线性表示出来，$\vec{a}=k\ast \vec{i}+w\ast \vec{j}$。
  这时，这几个基向量称作是 线性相关 的。
  (2) On the other hand, if each vector really does add dimension to the span, they’re said to be ‘linearly independent’.

• vectors VS points

  Represent each vector with just the point at the tip of the vector.
  坐标系中有多个向量时，全部用箭头表示显得杂乱和拥挤，因此采用点的形式更容易表达。
  单个向量看做箭头，多个向量看做点。

• techical definition of basis

  The basis of a span is a set of linearly independent vectors that span the full space.

三、矩阵与线性变换

The idea of a linear transformation and its relation to maxtrices.

Unfortunately, no one can be told what the Matrix is. You have to see it yourself.
遗憾的是，矩阵是什么是说不清的，你必须得自己亲眼看。
—— 墨菲斯

• Linear Transformation

  Transformation：the meaning of transformation is similar to the word ‘function’, BUT the word “transformation” suggests that you think using movement.
  Linear：2个性质：1)直线仍然是直线；2）原点保持固定。

  Think “Linear transformation” as “保持网格线平行且等距”。

• 如何用数值描述线性变换？

  只需要记录基向量的变化，其他的向量都会随之而动。
  线性变换前，$\vec{a}=k\ast \vec{i}+w\ast \vec{j}$，$\vec{a}$的坐标为(k,w);
  线性变换后，$\vec{a}=k\ast \overrightarrow{L(i)}+w\ast \overrightarrow{L(j)}$，$\vec{a}$的坐标仍为(k,w);变换前后是相同的线性组合，只是基向量发生了变化。

• 2x2 Matrix

  二维空间的线性变换：A two dimensional linear transformation is completely described by just for numbers.
  A metrix represents a specific linear transformation。

如果2x2 Matrix的列线性相关，那么此线性变换将整个二维空间压缩成一条线性直线。

• 矩阵向量乘法

  矩阵向量乘法是计算线性变换作用于给定向量的一种途径。

线性变换是操控空间的一种手段，他保持网格平行等距，且原点固定不变。这种变换可以简单的用几个数值描述清楚，这些数字就是变换后的基向量的坐标。

三、矩阵乘法与线性变换复合

It’s my experience that proofs involving matrices can be shorted by 50% if one throws the matrices out.

矩阵：A metrix represents a specific linear transformation.
矩阵向量乘法：Multiplying a metrix by a vector what it means computationally to apply that transformation to that vector.

• 复合变换

  对一个向量先做线性变换M1,再做线性变换M2，最后得到的2x2 Metrix 是复合变换下的复合矩阵。
  

• 求解复合变换的矩阵

  从几何角度，线性变换的意义出发，理解复合变换过程。
  上一节中，我们可知道线性变换可简单的 用基向量的变化 来描述。
  对复合变换，我们也是通过追踪基向量的变换 来描述。复合变换的矩阵的各列记录了变换后的基向量。

• 矩阵乘法

  矩阵乘法的意义：线性变换的相继作用（复合线性变换）。
  基于线性变换的观点，容易得到 AB≠BA，A(BC)=(AB)C。

四、三维空间中的线性变换

三维空间中的线性变换与二维空间类似，只是增加了一个维度而已。

线性变换	二维	三维
线性变换特点	（1）lines keep lines; （2）fix the origin in place.	（1）lines keep lines; （2）fix the origin in place.
线性变换矩阵	由基向量($\vec{i},\vec{j}$)的变化决定。	由基向量($\vec{i},\vec{j},\vec{k}$)的变化决定。
线性变换矩阵	2x2 Matrix， 每列是变换后的基向量。	3x3 Matrix， 每列是变换后的基向量。
复合变换	对线性空间做2次线性变换	对线性空间做3次线性变换
复合变换矩阵	2个线性变换依次作用	3个线性变换依次作用

线性变换矩阵的代数意义：向量乘法
复合变换矩阵的代数意义：矩阵乘法

五、行列式

The purpose of computation is insight,not numbers.
计算的目的不在于数字本身，而是在于洞察其背后的意义。——理查德.哈明

• 什么是行列式？

  The determinant of a transformation(一个变换的行列式)

  二维空间：
  How much are things being stretches or squishes,the specifically, to measure the factor by which the area of given region increases or decreases.（测量给定区域面积增大/缩小的比例）

  三维空间：
  行列式的值的几何意义：线性变换前后区域的体积之比。
  行列式为0，出现降维打击，变换后得到平面/直线/点。

行列式的值	特点
正值	x、y、z轴满足右手定则。正值表示线性变换前后面积/体积的比例。
零	出现降维打击，变换后得到平面/直线/点。（基向量线性相关/矩阵各列线性相关）
负值	x、y、z轴满足左手定则。线性空间发生翻转。

• 行列式的计算

  对于2x2矩阵：det(A)=ad-bc
  det(AB)=det(A)det(B)

六、逆矩阵、列空间与零空间

以线性变换的眼光来了解逆矩阵、列空间、秩和零空间。

• 线性方程组

  线性方程组与矩阵乘法方程相似，可以将线性方程组写做矩阵乘法方程的形式。
  
  每个方程组都对应于一个线性变换：

  1. 当逆变换存在时，可通过逆变换求解方程组，唯一解；
  2. 否则，列空间的概念可知道什么时候存在解/无解。

• 用线性变换的几何观点理解$A\vec{x}=\vec{v}$：

  The matrix A corresponds with some linear transformation, so solving ‘Ax=v’ means we’re lokking for a vector x, which after applying the transformation lands on v.

  对一个2个方程、2个未知量组成的线性方程组，方程的解依赖于矩阵A所代表的线性变换，这个线性变换可能将原空间降维压缩(det(A)=0)或者得到另外一种二维空间(det(A)≠0)。

• 逆：

1. det(A)≠0
   通过逆向变换求解向量x（对向量x施加线性变换A，得到向量v，再对向量v施加逆变换$A^{-1}$，得到原向量x）。

   “$A^{-1}A$” equals the matrix that corresponds to “doing nothing”, which is called “identity transformation(恒等变换)”

   得到的解x是唯一解。
   x：$A^{-1}A\vec{x}=A^{-1}\vec{v}\to \vec{x}=A^{-1}\vec{v}$.

• 秩：

2. det(A)=0
   There is no inverse，but a solution is still exists.

   线性变换A能作用到向量x上，得到[ dim≤原空间 ]的一个空间。

   秩：线性变换后空间的维度。
   变换后的向量落在n维平面上，rank=n；$\to$ “满秩”
   变换后的向量落在2维平面上，rank=2；
   变换后的向量落在1维平面上，rank=1；
   rank越小，空间被压缩程度越大。

   列空间：sets of all possible outputs $A\vec{x}$.
   （从矩阵乘法角度思考）

   列空间就是矩阵的各列张成的空间。
   矩阵A的列表示了变换后基向量的位置，这些变换后的基向量张成的空间就是所有可能的变换结果。
   而从这个角度，秩就是列空间的维度。
   零向量一定包含于列空间中。
   满秩变换(rank=n)中，变换后唯一能落在原点位置的只有零向量.
   非满秩变换(rank<n)将原空间维度降低，变换后能落在原点位置的向量不止一个。$\to$ 这些向量构成的空间叫做"零空间/核"

七、非方阵

对于一个mxn维矩阵A，表示的线性变换是从维度为n的线性空间到维度为m的线性空间的。
n列：n个由原空间的基向量变换得到的基向量，$\to$ 变换前空间维度。
m行：每个基向量用三个坐标值描述其位置，$\to$ 变换后空间维度。

八、点积[dot product]

点积 $x.y$ ：向量x在y上的投影/向量y在x上的投影。

• 点积与投影
  投影：多维空间到一维空间(数轴 number line)的线性变换。此时的变换矩阵是一个1x2的矩阵[a b]，每一列只有一个数，每列表示变换后的基向量的坐标位置。

  高维空间到一维数轴的变换：
  基向量 $\vec{i}=(1,0),\vec{j}=(0,1)$ 变换后对应的基向量坐标 $\vec{u}=(u_x,u_y)$[模长1]，$\to \vec{u}$ 在原坐标轴上的投影。

  （如图，1x2矩阵与二维向量相乘的计算过程和转置矩阵并求点积的计算过程相同，所以这个投影变换必然与某个二维向量有关）

  $\to$ 向量与给定向量的点积可以理解成：首先向定向向量做投影，再将向量投影值与给定向量长度相乘。
  即，两向量点乘，就是将其中一个向量转换成线性变换。

• 向量的个性：
  对向量的理解不只是把它看做有向箭头，而将它看做线性变换的载体，更容易理解向量。

九、叉乘