机器学习---数学基础加强（1）

什么是机器学习

机器学习是人工智能的分支。我们使用计算机设计一个系统改过训练数据按照一种方式进行学习。随着训练次数的增加，该系统可以在性能上不断的进行改进与学习，通过参数优化的学习模型，能够用来预测相关问题的输出。

机器学习的一般流程

数据收集==》数据清洗==》抽取特征工程==》数据建模==》模型的使用

机器学习的方法

需要先进行工具原理的了解，之后才能进行数据的选择

数学基础

导数

一个导数简单的说指的是曲线的斜率。而二阶导数则是只的斜率变化的快慢，反应了曲线的凹凸性。

梯度

一个函数在某一个点的偏导确定，如果存在某个方向 L 函数沿着该方向下降的速度最快则称这个方向为该函数的梯度。
$$\frac{\partial f(x,y)}{\partial l_{x,y}}=\frac{\partial f(x,y)}{\partial x}\cos \phi +\frac{\partial f(x,y)}{\partial y}\sin \phi$$
其中上式也可以写成
$$\frac{\partial f(x,y)}{\partial L}=\left(\begin{array}{cc}\frac{\partial f(x,y)}{\partial x}& \frac{\partial f(x,y)}{\partial x}\end{array}\right)(\begin{array}{c}\cos \phi \\ \sin \phi \end{array})$$

凸函数与凹函数

如果一个函数满足以下的条件则称之为凸函数否则称之为凹函数。
$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)，\theta \le 1$$
对于一元函数来说其凸函数的含义表示其两点之间的割线位于函数值的上方。
针对多元函数来说，其Hession矩阵为正定矩阵的情况下，表示函数为凸函数。这个性质可以用来求多元函数的极值。

正定矩阵

在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。
定义:A是n阶方阵，如果对任何非零向量x，都有$X^{T}AX\ge 0$。其中$X^T$表示X的转置，就称A正定矩阵。
对于矩阵A，其每个特征值都大于等于0的情况下为半正定矩阵。而如果矩阵为负的情况下为负正定矩阵。

Hessian矩阵

Hession也就是多元函数二阶导数所得到的一个矩阵。如果这个矩阵在某个区间内为正定矩阵则为凸函数，如果为负正定矩阵则为凹函数。联系到一阶函数中的凸函数与凹函数可以得知，在凹函数区间内可以求出极大值，在凸函数区间可以求出极小值。