机器学习之数学基础

1、机器学习的分类

2、得分函数
如图，经过一系列的计算，最后得到的概率值就叫得分函数。这里的w为权重，而怎么得到权重是我们算法的核心目标。得分函数就是对于给定的一个输入，通过计算，得到这个输入属于每种类别的得分。绝大多数机器学习目标希望得到的模型与算法，实际上就是我们的得分函数。

3、损失函数
上述说到w权重值，而权重值怎么求，则需要用到损失函数。损失函数的定义是：衡量模型模型预测的好坏。即损失函数就是用来表现预测与实际数据的差距程度。损失函数越小，模型就越好。我们希望的便是找到一个得分函数使得其损失函数是最小的，而最小值所对应的得分函数，或者是得分函数对应的里面的权重（这里用θ表示），这个θ就是我们期望的最好的机器学习算法的结果。对于凸函数，求损失函数的最小值可用梯度下降法（下面会介绍）。

4、夹逼定理

5、导数

6、泰勒公式

7、方向导数

8、梯度

梯度下降法：梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。梯度下降法的序列：
除了梯度下降法，还有牛顿法也可求用于求局部极值。定义为：
牛顿法与梯度下降法的区别：

9、凸函数
在上述介绍中我们涉及到过凸函数，下面我们来看看凸函数的简介。



10、琴声不等式

概率论版本：![在这里插入图片描述](https://img-blog.csdnimg.cn/20200908163932530.png#pic_center)

11、常见概率分布





12、概率

注：贝叶斯分类器：贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。
13、方差

14、期望

15、协方差
协方差可以写成期望的形式，可以评价两个随机变量的线性关系。

X与Y的协方差除以X与Y的标准差得到相关系数

16、SVD
SVD是机器学习中非常重要的降维算法。