线性代数定义

标量：

一个标量就是一个单独的数，将会用斜体表示标量，通常被赋予小写的变量名称。

向量：

向量是有序的数字组成的数组，我们可以通过索引拿到任何一个数，同时我们将向量看作成一个空间点的坐标，如

向量在空间中表示为一条线段并且是有方向的，代表了向量的长度和方向

运算：

（1）加法

（2）乘法

两个向量正交的意思是两个向量的内积为 0

向量空间：

加法和数量乘法，依然可以用有向线段来解释，对于这样一个附加加法与数量乘法运算的世界，我们成为向量空间。

张量

在某些情况下，我们讨论的坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称为张量。

基底

如，

作为基准的一组向量就叫做基底，沿着各个基准向量向量走的步数叫做坐标。基底（e1,e2），成员e1，e2就是基向量。

对于一组向量（e1，。。。，en），构成基底的条件为：

（1）任何向量v都可以表示为

（2）这种表示方法是唯一的

矩阵

1.定义：

由nxn个数aij构成的n行n列的数表A，也

2.运算：

（1）矩阵的加法

（2）数与矩阵的乘法

（3）矩阵与矩阵的乘法

3.矩阵的转置：将矩阵的行和列互换称为矩阵的转置

4.对称矩阵：

设A为n阶方阵，如果满足A^T=A，即aij=aji，那么A称为对称矩阵，简称对称阵

5.正交矩阵：

如果AA^T=Ｉ，I为单位矩阵，则A^T为A的正交矩阵，且A^T=A^-1。

而在向量中，x^Ty=0，那么说明向量x和向量y是相互正交。如果2个范数都是非0数，这两个向量之间的夹角是90度。

6.线性方程组

Ax=b --> 

7.单位矩阵

主对角线的值是1，其余都是0；

8.逆矩阵

A^-1A=E -->A^-1则为逆矩阵，E为单位矩阵

向量组的线性相关和线性无关

给定向量组，如果存在不全为0的数，，使得

则称向量组A是线性相关的，否则是线性无关的。

秩的定义：

在线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数。

线性代数中，一个矩阵A的列秩是A的线性独立的纵列的极大数目。类似地，行秩是A的线性无关的横行的极大数目。通俗一点说，如果把矩阵看成一个个行向量或者列向量，秩就是这些行向量或者列向量的秩，也就是极大无关组中所含向量的个数。

性质：

（1）向量组线性相关的充分必要条件是它构成的矩阵的秩小于向量个数m；向量组线性无关的充分必要条件是R（A）=m;

（2）若向量组组线性相关，则向量组也线性相关。反言之，向量组B线性无关，则A也线性无关。

（3）m个n维向量组成的向量组，当维数n小于向量向量个数m时一定线性相关。特别地，n+1个n维向量一定线性相关。

（4）设向量组线性无关，而向量组，b线性相关，则向量b必能由向量组A线性表示，且表示是唯一的。

（5）向量组的秩等于它的行向量组的秩，也等于它的列向量组的秩。

（6）最大无关组（矩阵中的秩的列向量就是一个极大无关组）

设向量组是向量组A的一个部分组，满足

（i）向量组A0线性无关。

（ii）向量组A的任一向量都能有向量组A0线性表示。

那么向量组A0是A的一个最大无关组。

（7）向量组b能由向量组a线性表示的充分必要条件是R(a)=R(b)

范数：

衡量一个向量的大小，而在机器学习中，范数是衡量向量的大小。典型的是:L0、L1、L2；单位矩阵的范数为1.

行列式

行列式，记作det(A)，是方阵A映射到实数的函数。行列式等于矩阵特征值的乘机。行列式的绝对值可以用来衡量矩阵乘法后扩大或者缩小了多少。行列式值为1时，表明转换后的空间体积不变。行列式为0时，表明该矩阵别压缩成了一条直线，没有了空间体积。

参考文献

线性代数-同济大学

深度学习

https://baike.baidu.com/item/%E7%9F%A9%E9%98%B5%E7%9A%84%E7%A7%A9