matlab编写,要求难度从低到高。填代码不难。
主要理解损失函数(假设 - y 的MSE),相比linear regression,逻辑回归的假设是在外面套了个sigmoid函数,使得theta’*X的范围变成(0, 1),然后可以让>=0.5的X(i)的预测的y为1。否则为0。
因为y取值只有0 或 1,将两种取值的式子合并起来就是损失方程了。
逻辑回归的正则化是防止过拟合的,在损失方程后+**除theta0以外的参数平方***lambda。
这是使得参数越接近0。至于参数越接近0,越减少过拟合(我理解是这样),看视频吧。theta0对应的x0是常数1,所以要去掉theta0。
sigmoid(z)
f = @(x) 1/(1 + exp(-x));
g = arrayfun(f, z);
costFunction(theta, X, y)
hyp_ins = sigmoid(X * theta);
pos_part = -1 * log(hyp_ins);% m-by-1
zero_part = -1 * log(1 - hyp_ins);
J = sum(pos_part.*y + zero_part.*(1 - y)) / m;
for i = 1 : size(theta)
grad(i) = sum((hyp_ins - y).* X(:, i))/m;
end
predict(theta, X)
mysig = sigmoid(X * theta);
p(mysig >= 0.5) = 1;
p(mysig < 0.5) = 0;
ex2_reg
costFunctionReg(theta, X, y, lambda)
hyp_ins = sigmoid(X * theta);
pos_part = -1 * log(hyp_ins);% m-by-1
zero_part = -1 * log(1 - hyp_ins);
J = sum(pos_part.*y + zero_part.*(1 - y)) / m;
regress = lambda * sum(theta(2:end).* theta(2:end)) / (2*m);% 除theta0
% 2:end这一步注意
J = J + regress;
for i = 1 : size(theta)
if i == 1
grad(i) = sum((hyp_ins - y).* X(:, i))/m;
else
grad(i) = sum((hyp_ins - y).* X(:, i))/m + lambda * theta(i, 1)/m;
end
end