机器学习中的数学

线性代数

张量

几何代数中定义的张量是基于向量和矩阵的推广，通俗一点理解的话，我们可以将标量视为零阶张量，矢量视为一阶张量，那么矩阵就是二阶张量。张量是有大小和多个方向的量。

如果一个物理量，在物体的某个位置上只是一个单值，那么就是普通的标量，比如密度。如果它在同一个位置、从不同的方向上看，有不同的值，而且这个数恰好可以用矩阵乘观察方向来算出来，就是张量。

范数

有时我们需要衡量一个向量的大小，在机器学习中，我们经常使用被称为范数(norm) 的函数衡量矩阵大小。
L-P范数 如下：

1. 当p=1时，为L1范数，公式为：
   
   L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和。
2. 当p=2时，为L2范数。L2范数是我们最常见最常用的范数了，我们用的最多的度量距离欧氏距离就是一种L2范数，它的定义如下：
   
   L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。

对数的作用

解决下溢出问题：由于太多很小的数相乘造成的问题。
由于不同底的对数的结果是等比关系，所以，有时底数是谁，是无所谓的。

线性代数常识

1 矩阵的逆
矩阵A ∈ Rn×n的逆，写作A−1，是一个矩阵，并且是唯一的。
  A − 1 A