机器学习数学基础- gradient descent算法（上）

为什么要了解点数学基础

学习大数据分布式计算时多少会涉及到机器学习的算法，所以理解一些机器学习基础，有助于理解大数据分布式计算系统（例如spark）的设计。机器学习中一个常见的就是gradient descent算法，是线性回归问题的一个基础算法。gradient是数学概念。

Gradient

假设一个函数有n个自变量：$f(x_1,x_2......x_n)$，且每个x都是标量值，那么该函数的gradient就是一个n维的向量函数，每个component是f函数针对$x_i$的partial derivative，$f$的gradient反映的是$f$针对所有变量在各自维度的变化的敏感程度（以及正负相关性，即当自变量增加时，$f$值是增加还是减小，下同。gradient所反映的正负相关性非常重要，是理解gradient descent算法的一个关键）的合集。$f$的gradient记为$\nabla f$

Partial Derivative

partial derivative是derivative的一个延伸概念，是一个有n维变量的函数