机器学习的一些数学诠释

   涉及到：线性回归、logistic回归和一般回归；支持向量机SVM；K-means聚类算法；神经网络；深度学习LSTM；决策树，集成学习（XGBoost，随机森林）；主成分分析；线性判别分析；典型关联分析；规则化和模型选择；

1、线性回归、logistic回归和一般回归

（1）误差平方和

（2）交叉熵损失

（3）softmax的损失函数

(4)线性判别分析的目标函数

  希望最小化类内协方差使投影后的同类样本点尽可能接近，最大化类中心距离使异类样本尽可能远离。下面是希望最大化的目标。

  它可以通过广义瑞利商J来表示，利用定义的 类内散度矩阵和类间散度矩阵，可使用拉格朗日乘子法解决。

2、支持向量机SVM

（1）硬间隔支持向量机

（2）软间隔支持向量机

（3）支持向量回归

（3）替代损失

（4）核函数

3、决策树

（1）决策树与条件概率的关系

  决策树表示给定特征条件下，类的条件概率分布，这个条件概率分布表示为特征空间的划分。将特征空间根据各个特征值不断进行划分，就将特征空间分为了多个不相交的单元，在每个单元定义了一个类的概率分布，这样，这条由根节点到达叶节点的路径就成了一个条件概率分布。
  各叶结点上的条件概率往往偏向某一个类。根据输入的测试样本，由路径找到对应单元的各个类的条件概率，并将该输入测试样本分为条件概率最大的一类中，就可以完成对测试样本的分类。