机器学习练习——线性回归

一. 单变量线性回归
问题背景：假如你是餐馆老板，已知若干城市中人口和利润的数据（ex1data1.txt），用线性回归方法计算该去哪个城市发展。

主函数：

%Step01 加载数据 
%X是取exdata1.txt 文件的第一列数据
%Y是取exdate1.txt文件的第二列数据
data = load('ex1data1.txt');
X = data(:,1); 
y = data(:,2);
m = length(y);      %保存样本数据数量

%Step02 绘图可视化数据 数据用红X表示 ‘rx‘；大小为10，设置X/Y轴标签
figure;     % 
plot(X,y,'rx','MarkerSize',10);
xlabel('城市人口，单位：/万人');
ylabel('利润，单位：/万元');

X = [ones(m,1),data(:,1)];      %增加一列，全赋值为1
theta = zeros(2,1)     %初始化拟合参数 定义一个2行1列的0矩阵
num_iters = 1500;       %迭代次数
alpha = 0.01;       %学习率
J = computeCost(X,y,theta)    %计算并显示初始成本

%用梯度下降求最优解 并将函数画在图上
theta = gradientDescent(X,y,theta,alpha,num_iters);
hold on;
plot(X(:, 2), X*theta, '-');


%对代价函数进行可视化分析

%linspace(x1,x2,N)
%功 能：用于产生x1，x2之间的N点行矢量，相邻数据跨度相同。
%其中x1、x2、N分别为起始值、终止值、元素个数。若缺省N，默认点数为100。
theta0_vals = linspace(-10, 10, 100);
theta1_vals = linspace(-1, 4, 100);

%计算代价 
J_vals = zeros(length(theta0_vals), length(theta1_vals));
for i = 1:length(theta0_vals)
    for j = 1:length(theta1_vals)
        t = [theta0_vals(i); theta1_vals(j)];
        J_vals(i, j) = computeCost(X, y, t);
    end
end

J_vals = J_vals';

figure;
surf(theta0_vals, theta1_vals, J_vals);     %网状图绘制：surf
xlabel('\theta_0');
ylabel('\theta_1');

figure;
%等高线绘制 contour
%J_vals是转置过后的
%contour(X,Y,Z,v) 使用 X 和 Y 绘制 Z 的等高线图。
%logspace(a,b,N)
%把10的a次方到10的b次方区间分成N份
contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 3, 20));

xlabel('\theta_0');
ylabel('\theta_1');
hold on;
plot(theta(1), theta(2), 'rx', 'MarkerSize', 10, 'LineWidth', 2);

computeCost 代价函数和gradientDescent梯度下降函数

function J = computeCost(X,y,theta)
%COMPUTECOST 线性回归算法计算成本
%   此处显示详细说明
m = length(y);
J = sum((X*theta - y).^2) / (2*m);

end



function [theta,J_history] = gradientDescent(X,y,theta,alpha,num_iters)
%GRADIENTDESCENT 执行梯度下降以学习theta
%   此处显示详细说明

m = length(y);
J_history = zeros(num_iters,1);

for iter = 1:num_iters
    theta = theta - (alpha/m) * X' * (X * theta - y);
    J_history(iter) = computeCost(X,y,theta);
   
end
end