机器学习的数学基础（一）

从15年开始真正接触机器学习，也尝试着看了一些书，比如《机器学习》（周志华）、《统计机器学习》（李航）、《机器学习实战》等等；一直对于相关数学应该掌握到什么程度心存疑虑，有的数学相对艰深，推导和证明比较花时间，但是直接略过之后，发现看后续的内容会雪崩式的夹生饭；直到学完了Stanford CS229《Machine Learning》，逼着自己在规定时间内做完所有的习题和编程作业，觉得比较有收获，所谓吾尝终日而思矣，不如须臾之所学也。
机器学习的重要的数学基础之一是线性代数和多变量微积分（Linear Algebra & Multivariable Calculus）。对于这门学科要掌握到什么程度?请弄懂三道试题即可。

第一题：Gradients and Hessians
题目
Recall that a matrix $A\in R^{n\times n}$ is symmetric if $A^T=A$, that is, $A_{ij}=A_{ji}$ for all i, j. Also
recall the gradient $▽f(x)$ of a function $f:R^n\to n$ which is the n-vector of partial derivatives. $$▽f(x)=\left[\begin{array}{c}\frac{\partial }{\partial x_1}f(x)\\ ⋮\\ \frac{\partial }{\partial x_n}f(x)\end{array}\right]wherex=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]$$
The hessian ${▽}^{2}f(x)$ of a function $f:R^n\to R$ is the $n\times n$ symmetric matrix of twice partial derivatives,
$$\left[\begin{array}{cccc}\frac{{\partial }^2}{\partial x_1^2}f(x)& \frac{{\partial }^2}{\partial x_1{x}_2}f(x)& \cdots & \frac{{\partial }^2}{\partial x_1\partial x_n}f(x)\\ \frac{{\partial }^2}{\partial x_2{x}_1}f(x)& \frac{{\partial }^2}{\partial x_2^2}f(x)& \cdots & \frac{{\partial }^2}{\partial x_2\partial x_n}f(x)\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^2}{\partial x_n{x}_1}f(x)& \frac{{\partial }^2}{\partial x_n{x}_2}f(x)& \cdots & \frac{{\partial }^2}{\partial x_n^2}f(x)\end{array}\right]$$
第一问
Let $f(x)=\frac{1}{2}{x}^{T}Ax+b^{T}x$ where A is a symmetric matrix and $b\in R^n$ is a vector. What is $▽f(x)$?

第一答
设$A=\left[\begin{array}{c}{R}_1\\ R_2\\ \cdots \\ R_n\end{array}\right]$ 其中: $R_i=\left[\begin{array}{c}{A}_{i1}{A}_{i2}\cdots A_{in}\end{array}\right]$
设 f 1 ( x ) = x T A x = x T ( A x ) ⋯ 矩 阵 乘 法 结 合 律 = x T ( [ R 1 R 2 ⋯ R n ] x ) = x T [ R 1 x R 2 x ⋯ R n x ] = x T [ R 1 x R 2 x ⋯ R n x ] ⋯ R i 为 行 向 量 ； x 为 列 向 量 = [ x 1 x 2 ⋯ x n ] [ R 1 x R 2 x ⋮ R n x ] = ∑ i = 1 n x i R i x = ∑ i = 1