西瓜书《机器学习》课后答案——Chapter3

3.2 试证明，对于参数$\boldsymbol \omega$，，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。
解答：

定理：设$f(\boldsymbol x)$是定义在非空开集$D\subset \mathbb R^n$上的二次可微函数，则$f(\boldsymbol x)$是凸函数的充要条件是在任意点$\boldsymbol x\in D$处，$f(\boldsymbol x)$的Hessian矩阵半正定。

无论是目标函数，还是对数似然函数，二次可微的条件是成立的。所以，只需要判断函数是否满足在任意点处的Hessian矩阵半正定。

$$y = \frac{1}{1+e^{-(\boldsymbol \omega^T\boldsymbol x+b)}}\tag 1$$
$$\frac{\partial y}{\partial \boldsymbol \omega}=\frac{e^{-(\boldsymbol \omega^T\boldsymbol x+b)}}{(1+e^{-(\boldsymbol \omega^T\boldsymbol x+b)} )^2}\boldsymbol x \tag 2$$

∂2y∂ω∂ωT=