机器学习3-线性代数回顾

引语：
这一节基本上就是大学上的线性代数的内容的复习。

1.矩阵和向量
矩阵定义：矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵。
matrix：rectangular array of numbers

矩阵的维数：是指它的行数和列数，比如上图就是一个4x2的矩阵
dimension of matrix：number of rows x number of columns
矩阵的元素：是矩阵中的数值，使用Aij来表示第i行第j列的数值

向量是特殊的矩阵：只有一列的矩阵，向量通常用小写字母表示，矩阵通常用大写的字母表示，向量有下标从0开始和1开始的，在机器学习中使用下标从1开始的更加常见一些。

2.加法和标量乘法
矩阵的加法：行列相同的两个矩阵把Aij和Bij相加。比如下图中结果C11（C是结果） = A11 + B11， 5 = 1 + 4。剩下的结果也直接对应的相加就可以得出结果。但是只能是行列相同的矩阵进行加法，不同的行列没法进行加法。

矩阵的标量乘法：矩阵的每一项和标量相乘即可。

3.矩阵向量乘法
这个在大学的时候学过，记得老师说的口诀左行乘右列

4.矩阵乘法
矩阵乘法和矩阵向量乘法是一样的，都是左行乘右列把结果相加。向量是一种特殊的矩阵。
AxB能做乘法必须是A的列数等于B的行数，A（mxn的矩阵），B（nxo的矩阵）得出的C（是mxo的矩阵），可以理解为A的列n和B的行n相互消除了，剩下的A的行m和B的列o

5.矩阵乘法特征
矩阵的乘法有一些特征，比如我们中小学学的交换律，结合律这种。
5.1 矩阵的乘法不符合交换律，AxB != BxA
5.2 矩阵的乘法满足结合律，Ax（BxC）= （AxB）xC
5.3 单位矩阵 就像自然数的单位1，单位矩阵上对角线的数值都是1。
AxI = IxA =A （I是单位矩阵）

6.逆和转置
矩阵的逆：一个n阶方阵A称为可逆的，或非奇异的，如果存在一个n阶方阵B，使得AB=BA=E，则称B是A的一个逆矩阵。A的逆矩阵记作A-1。类比自然数就是逆就是倒数，2的倒数是1/2，它们相乘得1.矩阵A和矩阵A的逆相乘得到单位矩阵E。

矩阵的转置：将A的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转，即得到A的转置。简单来说就是矩阵的行列互换就是矩阵的转置，A是一个mxn的矩阵，行列互换为AT是一个nxm的矩阵，A和AT互为转置。