机器学习中各科目基本概念集合

数学

• 非负函数：非负函数指的是函数的值域是非负的，也就是对于任意的定义域中的x，要求f(x)≥0

• 法向量：垂直于平面的直线所表示的向量为该平面的法向量。法向量适用于解析几何。由于空间内有无数个直线垂直于已知平面，因此一个平面都存在无数个法向量（包括两个单位法向量）。

• 超平面：在几何体中，超平面是一维小于其环境空间的子空间。 如果空间是3维的，那么它的超平面是二维平面，而如果空间是二维的，则其超平面是一维线。 该概念可以用于定义子空间维度概念的任何一般空间。

• 最优化问题：（英语：Optimization problem）在数学与计算机科学领域中，是从所有可行解中查找最优良的解的问题。

• 损失函数：在最优化，统计学，计量经济学，决策论，机器学习和计算神经科学的领域中，损失函数或成本函数是指一种将一个事件（在一个样本空间中的一个元素）映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数，借此直观表示的一些"成本"与事件的关联。一个最佳化问题的目标是将损失函数最小化。

• 平方损失函数：平方损失函数十分常见，比如用在最小二乘法中。它在数学上通常比其他损失函数更容易进行处理，这是因为它具有方差的性质，以及对称性：高于目标值的误差产生的损失与低于目标值同样大小的误差产生的损失相等。假设目标值为t，那么平方损失函数为

  

  其中C为某个常数，它的值与决定无关，并且可以通过设为1来略去。

• L0、L1、L2范数：

• 不失一般性（Without loss of generality，缩写：WLOG、WOLOG或w.l.o.g.）是数学中一个常见的表达。其被用在证明中将前提条件明确到个例上时，说明该个例能代表普遍情况，而非一种特例。

• 单位矩阵：单位矩阵是个方阵，从左上角到右下角的对角线（称为主对角线）上的元素均为1。除此以外全都为0。

• 行列式：举例说明如二阶矩阵

  其行列式为ad-bc

统计学

• 单阶段决策和序贯决策：有些决策问题，决策者仅作一次决策即可，这类决策方法称单阶段决策。在社会主义市场经济条件下，企业的经营活动为适应市场激烈竞争的需要，不仅需要单阶段决策，更需要进行多阶段决策，即序贯决策。
• 马尔可夫性：下一个状态只依赖于前一个状态与动作
• 独立同分布：在概率统计理论中，指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。

机器学习

• 回归：回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式。

  假如你想要预测兰博基尼跑车的功率大小，可能会这样计算:

  HorsePower = 0.0015 * annualSalary - 0.99 * hoursListeningToPublicRadio

  这就是所谓的 回归方程(regression equation)，其中的 0.0015 和 -0.99 称作 回归系数（regression weights），求这些回归系数的过程就是回归。一旦有了这些回归系数，再给定输入，做预测就非常容易了。具体的做法是用回归系数乘以输入值，再将结果全部加在一起，就得到了预测值。