CS229 ProblemSet记录

PS0

Gradients and Hessians

知识点：

1. 对于一个矩阵$A \in R^{n*n}$，如果$A^T = A$，则其称为对称矩阵。
2. 函数：$f:R^n \to R$ 的 gradient $\nabla f(x)$ 为：
   
3. 函数：$f:R^n \to R$ 的 hessian $\nabla^2 f(x)$ 为：
   

(a).$f(x) = \frac{1}{2}x^TAx + b^Tx$，其中$A$为对称矩阵，$b \in R^n$是一个vector，求$\nabla f(x)$和$\nabla^2 f(x)$。

(1)求$\nabla f(x)$：
$\frac{1}{2}x^TAx=\frac{1}{2}\sum_{i=1}^n \sum_{j=1}^n A_{ij}x_i x_j$
因此对任意$k=1,...,n$，有：
$\frac{\partial}{\partial x_k}\frac{1}{2}x^TAx=\frac{1}{2}\sum_{i=1}^n \sum_{j=1}^n A_{ij}x_i x_j = \frac{\partial}{\partial x_k}\frac{1}{2}(\sum_{i=1,i \neq k}^n A_{ik}x_i x_k + \sum_{j=1,j \neq k}^n A_{kj}x_k x_j + A_{kk}x_k^2 +\sum_{i=1,i \neq k}^n \sum_{j=1,j \neq k}^n A_{ij} x_i x_j )$ （拆分）
$=\frac{1}{2}\sum_{i=1,i \neq k}^n A_{ik}x_i + \frac{1}{2}\sum_{j=1,j \neq k}^n A_{kj}x_j + A_{kk}x_k$ （求导）
$= \sum_{i = 1}^n A_{ki}x_i$ （$A_{ij} = A_{ji}$）

$\frac{\partial}{\partial x_k}b^Tx = \frac{\partial}{\partial x_k} \sum_{i=1}^n b_i x_i = \frac{\partial}{\partial x_k}b_k x_k = b_k$

总结：
对于对称矩阵$A$，$\nabla(\frac{1}{2}x^TAx)=Ax$。
$\nabla(b^Tx)=b$。

(2)求$\nabla f(x)$：
由上可知：$\frac{\partial}{\partial x_k}\frac{1}{2}x^TAx = \sum_{i = 1}^n A_{ki}x_i$
因此：$\frac{\partial^2}{\partial x_k x_l}\frac{1}{2}x^TAx = \frac{\partial}{\partial x_l}\sum_{i = 1}^n A_{ki}x_i = A_{kl}$

(b).$f(x)=g(h(x))$，其中$g:R \to R$与$h:R^n \to R$是可导的函数，求$\nabla f(x)$。
$\nabla f(x) = g^{'}(h(x))\nabla h(x)$

(c).求$f(x)=g(a^Tx)$的$\nabla f(x)$和$\nabla^2 f(x)$，其中$g(x)$处处可导。

(1)求$\nabla f(x)$：
对任意$i=1,...n$：
$\frac{\partial}{\partial x_i}f(x) = g^{'}(a^Tx)\frac{\partial}{\partial x_i}a^Tx=g^{'}(a^Tx)a_i$
即：$\nabla f(x) = g^{'}(a^Tx) \nabla(a^Tx) = g^{'}(a^Tx) a$

(2)求$\nabla^2 f(x)$：
由上可知：
$\frac{\partial}{\partial x_i}f(x) = g^{'}(a^Tx)a_i$
对任意$j=1,...n$，有：