写linear_regression的时候发现
按照批梯度下降来说,按照数据格式写成下面这样是没有问题的
train.X = data(1:end-1,1:400);
train.y = data(end,1:400);
X = train.X;%[1 2 3;8 6 8];
y = train.y;%[9 8 11];
n = size(X,1);
m = zeros(size(X,2));
theta = rand(n,1);
g = theta;
a = 0.000001;
for i = 1:10
g = g - a*X * (theta'*X - y)';
theta = g;
end
f = 0.5*(theta'*X - y)*(theta'*X - y)';
但是出现NaN的问题。
但是将数据量减少是没有问题的,比如变成注释后面的变量值。
可以得到theta = [1;1];
同样的东西在linear_regression_vec.m只写
g = X * (theta'*X - y)';
f = 0.5*(theta'*X - y)*(theta'*X - y)';
放在matlab直接执行没有问题。
跟到minFunc里面发现优化算法用的是LBFGS
查了一下,LBFS可以有效解决大规模变量问题,难道跟数据量有关?