斯坦福机器学习-week 3 学习笔记（2）——Matlab最优问题求解

keyword：Optimization algorithm

目录

一.最优问题的求解算法

二.最优问题求解算法的比较

三.利用Matlab求解最优问题

一.最优问题的求解的算法

Gradient descent

Conjugate gradient

BFGS

L-BFGS

二.最优问题求解算法的比较

    其他最优问题求解算法与梯度下降算法的比较如下图：

三.利用Matlab求解最优问题

    可以利用Matlab自带的fminunc函数可以计算最优解。

    使用Matlab求解最优问题的过程如下：

    1.先定义一个计算J(θ)的值和J(θ)梯度的函数；

    2.设置好求解最优过程的参数；

    3.要求的参数初始化；

    4.调用fminunc函数。

   下面举个例子：

    在使用Matlab自带的fminunc函数可以计算最优解的过程中，最重要的是编写计算J(θ)的值和J(θ)梯度的函数。在这个函数中，必须包含有计算J(θ)的值的部分，以及计算J(θ)梯度的部分，函数的定义可以如下：