fminunc试图找到一个多变量函数的最小值,从一个估计的初试值开始,这通常被认为是无约束非线性优化问题。 x =fminunc(fun,x0) 试图从x0附近开始找到函数的局部最小值,x0可以是标量,向量或矩阵 x =fminunc(fun,x0,options) 根据结构体options中的设置来找到最小值,可用optimset来设置options x =fminunc(problem) 为problem找到最小值,而problem是在Input Arguments中定义的结构体 Create thestructure problem by exporting a problem from Optimization Tool, as describedin Exporting Your Work. [x,fval]= fminunc(...) 返回目标函数fun在解x处的函数值 [x,fval,exitflag]= fminunc(...) 返回一个描述退出条件的值exitflag [x,fval,exitflag,output]= fminunc(...) 返回一个叫output的结构体,它包含着优化的信息 [x,fval,exitflag,output,grad]= fminunc(...) 返回函数在解x处的梯度的值,存储在grad中 [x,fval,exitflag,output,grad,hessian]= fminunc(...) 返回函数在解x处的Hessian矩阵的值,存储在hessian中 对这些说明理解的不是很透彻,然后做了几个简单的实验,如下: 定义函数fun1 function y = fun1(x) y = (x - 2)^2; end 显然fun1在x=2处取得最小值0 clear all; x0 = 1.5 [x,fval,exitflag,output,grad,hessian] =fminunc(@fun1,x0) 运行结果是: x =2.0000 fval =1.2490e-16 exitflag = 1 output = iterations: 1 funcCount: 6 stepsize: 0.5000 firstorderopt: 7.4506e-09 algorithm: 'medium-scale: Quasi-Newtonline search' message: [1x436 char] grad = 7.4506e-09 hessian = 2 再做一个多变量实验,定义函数fun2 function y = fun2(x) y = (x(1)^2)+(x(2)^2); end 显然,fun2在x1=0,x2=0处取得最小值0 clear all; x0 = [2;2]; [x,fval,exitflag,output,grad,hessian]= fminunc(@fun2,x0) 运行结果是: x = 0 0 fval =0 exitflag =1 output = iterations: 2 funcCount: 9 stepsize: 1 firstorderopt: 1.4901e-08 algorithm: 'medium-scale: Quasi-Newtonline search' message: [1x436 char] grad = 1.0e-07 * 0.1490 0.1490 hessian = NaN NaN NaN NaN 但是假如函数形如f(x,y),而且f(x,y)中还有可变的参数a,b的话如何求取其最小值呢?定义了第三个函数fun3 function y = fun3(x,a,b) y = (x(1)-a)^2+(x(2)-b)^2; end 这个函数含两个自变量x(1),x(2),还有参数a,b,显然函数在x(1)=a,x(2)=b时取得最小值0 clear all; x0 = [2;2] a = 1 b = 0 x = fminunc(@(p)fun3(p,a,b),x0)%注意此处的写法 结果是 x = 1.0000 0.0000 fminunc找到了当我定义a=1,b=0时的函数的最小值是在x=[1;0]处,以后要找到一个需要赋值,还要指定参数值的函数的最小值的时候就可以这样做了。但是不要把x(1),x(2)分开定义成x,y,这样只会给自己找麻烦。fminunc的help里头提到一个problem的结构体好像可以解决这个问题,没有深究,读者自己去看。 %================================================================== 现在我们用fminunc来找二元逻辑回归的代价函数的最小值 数据在这http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html logistic_test.m clear all; close all; x = load('G:\training_data\ex4x.dat'); y = load('G:\training_data\ex4y.dat'); theta = [-15.0; 0.14; 0.15]; J = logisticCost(theta,x,y); theta0 = zeros(3,1);%随机设置一个初始值,其实就在上面那个theta附近 data = x; label = y; options=optimset('MaxIter',100); [opttheta,fval] = fminunc(@(p)logisticCost(p,data,label),theta0) 定义代价函数logisticCost.m function cost = logisticCost(theta, data, label) [trainNum trainLength] =size(data); z = [ones(trainNum,1)data]*theta; h = inline('1.0 ./ (1.0 + exp(-z))'); htheta = h(z); cost =(-1/trainNum)*(label'*log(htheta) + (1-label)'*log(1-htheta)); 运行[opttheta,fval]= fminunc(@(p) logisticCost(p,data,label),theta0) 的结果是 opttheta = -16.3787 0.1483 0.1589 fval = 0.4054 这个结果跟上面下载数据的网页处提供的结果一样 其实注意到fminunc是因为稀疏自编码器autoencoder中train.m代码中步骤3: numgrad =computeNumericalGradient( @(x) sparseAutoencoderCost(x, visibleSize,... hiddenSize, lambda,... sparsityParam, beta,... patches), theta); 此处的写法和x = fminunc(@(p) fun3(p,a,b),x0)类似,我其实是模仿train.m的代码做了个更简单的实验,将参数a,b加入到了fun3中去。在UFLDL的softmax回归的代码softmaxTrain.m中也有类似的求最优的theta的做法,所以从这些实现寻找最优theta的方法中我们发现,神经网络的训练过程可能不是通过一遍一遍的for来实现,而是通过非线性优化之类的寻找最优解的方法来实现的。更多的内容可以自行百度BFGS,L-BFGS之类minFunc中提到的东西来了解。
MATLAB中的函数理解(二):minFunc工具包(不定期更新)
最新推荐文章于 2021-03-20 07:15:42 发布