线性代数学习笔记

一、向量概念
向量是有顺序的一组数字，每个数字都是该向量的一个因素(element) 因素横着排列的向量叫做行向量(row vector)，因素竖着排列的向量叫做列向量(column vector)

二、矩阵及矩阵运算
矩阵乘法不满足乘法交换律：AB =! BA

线性代数8件运算规则：
1、x + y = y + x.
2、x + (y + z) = (x + y) + z.
3、There is a unique “zero vector” such that x + 0 = x for all x.
4、For each x there is a unique vector -x such that x + (-x) = 0.
5、1x = x.
6、(c _{1} c _{2} )x = c _{1} (c _{2} x).
7、c(x + y) = cx + cy.
8、(c _{1} + c_{2} )x = c _{1} x + c_{ 2} x.

矩阵的静态坐标值信息：
（1）若干个维度相同的要形成组合的向量信息

（2）若干组维度相同的权重信息

两个矩阵相乘A⋅B 时，
当把前者矩阵(A)中行向量理解成若干组权重，后者矩阵(B)中的行向量就是要形成组合的成分。
当把后者矩阵(B)中列向量理解成若干组权重，前者矩阵(A)中的列向量就是要形成组合的成分。

矩阵乘法条件：
矩阵A(m by n)和矩阵B(p by q)能够做乘法的条件是 n = p

三、线性代数一些基本概念
向量空间：向量空间是能够容纳所有线性组合的状态空间。

子空间：子空间（subspace）可以被想成是向量空间内的空间，最小的向量空间是只包含零向量的空间。

线性无关（linearly independent）: 当ci表示权重，vi表示向量时，c1v1+...+ckvk=0 只发生在当c1=...=ck=0全都等于零时。

换句话说，这些向量不可以通过线性组合形成彼此。形成彼此的情况只能是他们都是零向量。

张成：描述的是一组向量通过线性组合所能形成子空间。

基/基底：一个向量空间的一个基底（A basis for a vector space V）是一串有顺序的向量（a sequence of vectors），满足：
A、向量之间彼此线性无关 （不可多余）
B、这些向量可以张成向量空间V （不可过少）
换句话说，刚刚好可以张成向量空间V的一串向量是该向量空间V的一个基底

维度：互不相关的因素的个数是一个向量空间的维度。

秩：秩（rank）是矩阵的概念。指的是一个矩阵的所有列向量所能张成的空间的维度。

四、线性变换
一个从n维实数域（Rn）到m维实数域（Rm）的变换（transformation or mapping or function）是将n维实数域（Rn）空间下任意一个向量转换成为在m维实数域（Rm）空间下对应向量T(x)。
其中n维实数域（Rn）空间叫做变换T的domain，m维实数域（Rm）的空间叫做该变换的codomain。
向量T(x)叫做向量x的image（变换T行为下的）
所有image组成的集合叫做变换T的range

y = Ax 也可以理解为x经由一个动因A，使其状态发生了改变。Ax同时也是深层神经网络每层变换中的核心：y=a(Ax+b)

参考：https://zhuanlan.zhihu.com/p/23054096