qq_37791263的博客

1.线性回归2.非线性回归3.聚类4.分类5.降维6.优化算法（启发式优化算法）定义最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。也是机器学习中常用的优化器。设(x,y)(x,y)(x,y)是一对观测量，且x=[x1,x2,...,xn]T∈RN，y∈Rx=[x_1,x_2,...,x_n]^T\in \mathbb R^N，y\in\mathbb

特征值与特征向量定义在线性代数中，对于给定的线性变换A\mathbf AA，它的特征向量vvv经过这个线性变换的作用之后，得到的新的向量仍然与原来的vvv保持在同一条直线上。但其长度或许会改变。即Av=λv\mathbf Av=\lambda vAv=λv其中λ\lambdaλ为标量，即特征向量的长度在A\mathbf AA线性变换下的缩放比例，称其为特征值。例如：其中2为A\mathbf AA的一个特征值，v1v_{1}v1​为A\mathbf AA在特征值2下的特征向量。一般的含

4.雅可比矩阵对于如下向量到向量的映射函数：y=f(x)\mathbf y=f(\mathbf x)y=f(x)其中，向量x∈Rn\mathbf x\in\mathbb R^nx∈Rn，向量y∈Rm\mathbf y\in\mathbb R^my∈Rm,这个映射分量形式为：yi=fi(x)y_{i}=f_{i}(\mathbf x)yi​=fi​(x)即输出向量的每个分量是输入向量的函数，雅可比矩阵为输出向量的每个分量对输入向量的每个分量的偏导数构成的矩阵：[∂y1∂x1∂y1∂x1⋯∂y1∂x

数学是机器学习的基础，各种算法需要大量使用微积分，线性代数，概率论，最优化方法等数学知识，特别是最优化理论，可以说机器学习中的大多数算法研究到最后都是一个数学优化问题。接下来将一一介绍机器学习中的数学知识。1.导数导数定义为函数的自变量变化值趋向于0时，函数的变化量与自变量的变化量的比值的极限，即如果该极限存在，则称函数在该点可导。导数的几何意义就是函数在某一点处的切线的斜率。以下列出了各种基本函数和运算的求导公式（这些都是高中的知识点）。复合函数的求导公式可以推广到多层复合函数和多元复合函数