线性代数部分:(很浅显)
1. 标量,向量,矩阵,张量
标量即单独一个数值,一般以小写字母表示,如a.
向量即由一组数值组成,一般以小写字母加粗表示,如a.可由下标表示其中的每个元素。
矩阵为二维数组组成,一般以大写字母加粗表示,如A。
张量在深度网络中最为常见,指2维以上的数组。
python中的numpy库多用于这些数据类型的计算。
2. 矩阵与向量乘法(符合结合律)
Ax=b (机器学习经典格式,x即我们要求的对输入A的特征提取model)
3.单位矩阵和逆矩阵
x=b*逆(A)
4.线性相关,范围,秩
线性相关(独立):指矩阵中某些行的意义相同,可以通过线性变化消解成一样的。
Ax=B若有解,A(m*n),b(m), 则要求B存在于A所有的线性组合范围里,因此n>=m。且A的m行必须线性独立。
若对于任何b,x都有解,需要n<=.m,则综合上一条,n=m,即A为方阵,且A的行都先行独立。
每行都线性独立的方阵叫非奇异阵,否则为奇异阵(singular).
因此,可逆矩阵=非奇异矩阵。
注意:A是非奇异阵一定有解,但是不是的话也能求出解,但不是通过求逆的办法。