基于matlab的一元线性回归原理

一、一元线性回归原理

1.1、数学模型

一元线性回归分析是在排除其他影响因素，分析某一个因素（自变量：X）是如何影响另外一个事物（因变量：Y）的过程，所进行的分析是比较理想化的。对于一元线性回归来说，可以看成Y的值是随着X的值变化，每一个实际的X都会有一个实际的Y值，我们叫Y实际，那么我们就是要求出一条直线，每一个实际的X都会有一个直线预测的Y值，我们叫做Y预测，回归线使得每个Y的实际值与预测值之差的平方和最小，即达到一元线性回归的最终结果。

一般的，一元线性回归模型可由下表示：
$$Y={\beta }_0+{\beta }_1\times X+ϵ$$
固定的${\beta }_0$、${\beta }_1$称为回归系数，自变量X也成为回归变量，$Y={\beta }_0+{\beta }_1\times X+ϵ$,称为Y对X的回归直线方程，且$ϵ$ 的均值$E(ϵ)=0$，所以模型简化为$Y={\beta }_0+{\beta }_1\times X$。

对于实际问题，要建立回归方程，首先确定能否建立线性回归模型，其次确定如何对模型中未知参数${\beta }_0$、${\beta }_1$进行估计。所以首先对总体进行独立观测，在坐标系中画出Y与X的散点图，根据图判断Y与X直线关系是否符合一元线性回归模型。最后利用最小二乘法可以得到回归模型参数${\beta }_0$、${\beta }_1$的最小二乘估计，估计公式为：
$$\{\begin{array}{l}{\beta }_0=\bar{y}-\bar{x}{\beta }_1\\ {\beta }_1=\frac{L_{xy}}{L_{xx}}\end{array}$$
其中：$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{X}_i,\bar{y}=\frac{1}{n}{\sum }_{i=1}^n{y}_i$，$L_{xx}={\sum }_{i=1}^n{\left(X_i-\bar{X}\right)}^2,L_{xy}={\sum }_{i=1}^n\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)$

于是我们建立公式模型：$y={\beta }_0+{\beta }_{1}x$

接下来我们可以通过对一元线性回归分析总结为三点

1. 利用样本观测值对回归系数${\beta }_0$、${\beta }_1$做点估计
2. 对方程的线性关系做显著校验
3. 在X=$X_0$处对Y做预测等

1.2、案例分析

分析总能耗与面积的关系，首先导入散点图，如下：

第一步:画出面积和总能耗之间的散点图，如下：

[Data,str]=xlsread('C:\Users\86188\Desktop\仿真数据\北京参数一百组新.xlsx','sheet1','A1:R101');%得到表格中所有数据
[Row,Col]=size(Data);                    % 得到数据的行和列宽
NewData=zeros(Row,2);                    % 建立两列行相等的数组
NewData(:,1)=Data(:,factor);             % 保存因素数据
NewData(:,2)=Data(:,Col);                % 保存自变量数据

subplot(311);                            % 分图1,肉眼看线性关系
plot(NewData(:,1)',NewData(:,2)','k+');  % 得出面积与总能耗之间的散点图，通过散点图可以明确发现存在线性关系
axis([0,inf,0,inf]);xlabel('面积');ylabel('总能耗');title('总能耗与面积散点图');legend('真实值');

可以观测处面积与总能耗之间存在线性关系，但是实际上不用标准的一元线性模型，而使用$Y={\beta }_1\times X$,观测Y与X的具体关系，不加截距的方式。

第二步：求出面积与总能耗之间最大与最小斜率。

slop=zeros(Row,1);                        % 建立一个斜率数组
for i=1:Row
    slop(i)=NewData(i,2)/NewData(i,1);    % 得到每个数据对应的斜率
end
[MaxNumber,MaxIndex] = max(slop);         % 得到最大斜率和下标
[MinNumber,MinIndex] = min(slop);         % 得到最小效率和下标

第三步：求出每个斜率对应的误差值

最终得到在 K=63.88的时候可以得到最小误差RSS=5296700。

SlopNumber = (MaxNumber-MinNumber)/0.01;  % 得到以0.01为精度的斜率个数
Loss=zeros(SlopNumber,1);                 % 根据最大斜率和最小效率建立指定长度的损失数据       
count = 1;
for PreSlop = MinNumber:0.01:(MaxNumber-0.01)    % 斜率以0.01的增量去计算损失函数
    for i=1:Row
        Loss(count) = Loss(count)+(NewData(i,2)-PreSlop*NewData(i,1))^2/(2*100);
    end
    count=count+1;
end
Number=1:SlopNumber;                     % 得到损失函数列向量数量
subplot(312);                            % 分图2：看损失函数的最小值
plot(Number,Loss');ylabel('损失值');title('损失函数图');legend('损失函数');

第四步：得到最佳斜率并用模型进行预测总能耗

[MinLoss,MinLossindex] = min(Loss)      % 得到损失函数最小值及对应的下标
PreSlop = zeros(2,Row);                  % 建立预测曲线存取矩阵
for i=1:Row                              % 预测矩阵基于给定的数据，计算y=k*x的关系
    PreSlop(2,i)= (MinLossindex*0.01+MinNumber)*NewData(i,1);
    PreSlop(1,i)= NewData(i,1);
end
subplot(313);                            % 分图3：看实际数据与线性回归的关系
plot(NewData(:,1)',NewData(:,2)','k+',PreSlop(1,:)',PreSlop(2,:),'r');% 得出面积与总能耗之间的散点图，通过散点图可以明确发现存在线性关系
axis([0,inf,0,inf]);xlabel('面积');ylabel('总能耗');title('总能耗与面积的线性关系');
legend('真实值','预测值');grid on;hold on;

第五步：得到模型函数关系
$$总能耗=63.88\times 面积$$

参考文献：

1.数学建模与数学试验
2.多元线性回归MATLAB实现