深度学习-应用数学与机器学习基础-1

线性代数

（如果你很熟悉线性代数，那么你可以跳过本节）
1、标量、向量、矩阵和张量

• 标量（scalar）：一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。
• 向量（vector）：一个向量是一列数。这些数是有序排列的，通过次序的索引我们可以确定每个单独的数。
• • 矩阵（matrix）：矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。
• 张量（tensor）：在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。我们使用字体 A 来表示张量 “A’’。张量 A 中坐标为 (i,j,k) 的元素记作 A ijk

2、矩阵和向量相乘
矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵相乘是第三个矩阵。C=AB A的列数必须和B的行数相等。
两个矩阵中对应元素相乘被称为元素对应乘积或者Badamard乘积。记为 A⊙B
两个相同维数的向量x和y的点积（dot product）可以看做是矩阵乘积xTy.两个向量的点积是标量，标量的转置等于自身。

3、单位矩阵和逆矩阵
单位矩阵：任意向量和单位矩阵相乘都不会改变，我们将保持N维向量不变的单位矩阵记作**In
4、线性相关和生成子空间
一组向量的线性组合，是指每一个向量乘以对应标量系数之后的和，一组向量的生成子空间（span）是原始向量线性组合后所能抵达点的集合。
如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关（linearly independent）。如果某个向量是一组向量中某些向量的线性组合，那么我们将这个向量加入这组向量后不会增加这组向量的生成子空间