吴恩达ML笔记-ex.2-逻辑回归

Exercise 2.1: Logistic Regression

任务列表

Part 1: Plotting
Part 2: Compute Cost and Gradient
Part 3: Optimizing using fminunc
Part 4: Predict and Accuracies

具体实现

1. Plotting (plotData.m)

把 ex2data1.txt 中的数据读出来，并且根据对应的y值，将其对应的数据点标位十字（录取）和圆圈（不录取），程序已在pdf中给出，并

pos = find(y==1); neg = find(y == 0);
plot(X(pos, 1), X(pos, 2), 'k+','LineWidth', 2, 'MarkerSize', 7);
plot(X(neg, 1), X(neg, 2), 'ko', 'MarkerFaceColor', 'y', 'MarkerSize', 7);

2.Compute Cost and Gradient(sigmoid.m & costFunction.m)

计算需要用到的 h_thetax和sigmoid函数：


其中，在计算sigmoid 函数的时候，我本想用向量化去做，不过不知为何，计算的结果总是不对，可能是我线性代数的水平还不够吧，仅把这两行代码先贴在这记录一下思路：

sigmoid.m：

c = zeros(size(z));
g = c./(c+exp(-z));

以下是用常规的循环思想写的，测试结果正确：

[a,b] = size(z);
for i = 1:a,
  for j = 1:b,
    g(i,j) = 1/(1+exp(-z(i,j)));
  endfor
endfor

接下来就是要计算代价函数和梯度了，所需公式如下：

cost：
grad：

在复现这两个公式的时候，分别用了一行去写，基本和公式一一对应：

J = -sum(sum(y.*log(sigmoid(z))+(a-y).*log(a-sigmoid(z))))/(3*m); %cost值
grad = sum((sigmoid(z)-y).*X(:,:))/m; %grad值

这里说明一下，3是没出现在公式中的，是因为用向量化在做的时候，把三列数据加和之后，出现的三列相同的数据，再次加和，才能得到每个数而不是每个向量，这就需要除以3以还原数据。

3.Optimizing using fminunc

这里使用了一个内嵌的函数去计算梯度下降，并不需要写新的程序进去，所以不贴代码，仅记录之前犯过的一个小错误：在之前写程序的时候，因为是以矩阵向量的形式去写，经常会出错在矩阵的大小或者向量的长度上，尤其当输入fminunc函数时，一旦输入的规模(size)不对，就会在该函数内部出错，而这个函数对于初学者太难看懂，所以需要注意costFunction的输出，一定要是一个数。

4.Predict and Accuracies

最后一步的预测就很简单了，因为第三步的时候已经把对应要用到的预测数据得出了，只需要进行二分类就可以了，二分类的方法就是小于0.5则归为0，大于等于0.5则归为1；对于这个操作，同样不需要用for循环一个一个的判断，内嵌函数中的round函数即为四舍五入函数：

p = round(sigmoid(X*theta));

另注：

floor(x);  %向下取整
ceil(x);  %向上取整
round(x);  %取最接近的整数
fix(x);  %向0取整

最后，输出中的mean()函数，是一个取平均值的函数，意在求得整个数组预测的平均概率，在该题目中为89%。

Exercise 2.2: Regularized Logistic Regression

任务列表

Regularized Logistic Regression

具体实现

在这个练习中，注释的介绍里说明需要写四个函数，但是因为这个是建立在前边逻辑回归练习的基础上的，所以其余的函数已经写好了，也就是说part2中的predict部分是已经完成了的。

costFunctionReg.m:
所需的公式和实现如下：

a = ones(m,3);
J = -sum(sum(y.*log(sigmoid(X*theta))+(a-y).*log(a-sigmoid(X*theta))))/(3*m) ...
    + (0.5*lambda/m)*sum(theta.^2);
grad = sum((sigmoid(X*theta)-y).*X/m) + [0;(lambda/m)*theta(2:end,:)]';

这里需要注意的是，在计算grad的时候，因为公式中，对于j = 0，也就是theta(1)，是不带入计算的，所以我在实现的时候用了0和theta(2→end)组合的方法。

以上，就是机器学习ex2-逻辑回归的全部内容。