线性回归练习

练习1：线性回归

---

介绍

在本练习中，您将实现线性回归并了解其在数据上的工作原理。

在开始练习前，需要下载如下的文件进行数据上传：

• ex1data1.txt -单变量的线性回归数据集
• ex1data2.txt -多变量的线性回归数据集

在整个练习中，涉及如下的必做作业，及标号*的选做作业：

• 实现简单示例函数----------（5分）
• 实现数据集显示的函数-------（5分）
• 计算线性回归成本的函数-----（40分）
• 运行梯度下降的功能函数-----（50分）
• 数据标准化*
• 多变量线性回归的梯度下降功能实现*

必做作业为实现单变量的线性回归；选做作业为实现多变量线性回归。

1 实现简单示例函数

在该部分练习中,将通过代码实现返回一个5*5的对角矩阵。输出与如下相同：

1 0 0 0 0
0 1 0 0 0
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1

   
   
   

   
   
   

    
1
    
2
    
3
    
4
    
5
   

1.1 提交解决方案

在以下代码框中进行如上的实现，完成部分练习后，得到如上的相同结果即为通过。

###在这里填入代码###
import numpy as np
a = np.eye(5)
a

   
   
   

   
   
   

    
1
    
2
    
3
    
4
   

array([[1., 0., 0., 0., 0.],
       [0., 1., 0., 0., 0.],
       [0., 0., 1., 0., 0.],
       [0., 0., 0., 1., 0.],
       [0., 0., 0., 0., 1.]])

   
   
   

   
   
   

    
1
    
2
    
3
    
4
    
5
   

2 单变量线性回归

在该部分练习中，将实现单变量线性回归并用来预测餐车的利润。

假设你是一家餐厅的领导，正在考虑在不同的城市开设新的分店。该连锁店已经在不同的城市有了餐车，并且你能够获得每个城市的人口和利润数据。

现在需要使用这些数据来帮助你选择下一个被扩展的城市。

文件ex1data1.txt包含线性回归问题的数据集。第一列数据对应城市人口，第二列数据对应那座城市的餐车的利润。利润为负时表示亏损。

2.1 绘制数据

在开始进入练习之前，对数据进行可视化通常很有用。对于该数据集，可以使用散点图进行可视化，因为它只有两个属性（人口、利润）。

# 引入所需要的库文件
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os

%matplotlib inline

• 1
• 2
• 3
• 4
• 5
• 6
• 7

# 数据存储路径
path = 'ex1data1.txt'

# 读入相应的数据文件
data = pd.read_csv(path, header=None,names=[‘Population’,‘Profit’])

#查看数据的前五条
data.head(5)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

	Population	Profit
0	6.1101	17.5920
1	5.5277	9.1302
2	8.5186	13.6620
3	7.0032	11.8540
4	5.8598	6.8233

接下来需要实现数据可视化的代码，该部分数据绘制出的图像应与如下相同。

要点：

• 实现散点图可视化
• 数据分布为红色点
• 标清横纵坐标名称

###在这里填入代码###
data.plot(kind='scatter', x='Population', y='Profit',c='red', figsize=(12,8))

 
 
 

 
 
 

  
1
  
2
 

<matplotlib.axes._subplots.AxesSubplot at 0x7f13aa7cf7f0>

 
 
 

 
 
 

  
1
 

2.2 梯度下降

在该部分中，将使用梯度下降来选择合适的线性回归参数θ用以拟合给定数据集。

2.2.1 更新公式

线性回归的目的是最小化成本函数：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ynPHPA0v-1685355633944)(1-2.png)]
假设

      h 
     
    
      θ 
     
    
   
     ( 
    
   
     X 
    
   
     ) 
    
   
  
    h_{\theta}(X) 
   
  
</span><span class="katex-html"><span class="base"><span class="strut" style="height: 1em; vertical-align: -0.25em;"></span><span class="mord"><span class="mord mathnormal">h</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.3361em;"><span class="" style="top: -2.55em; margin-left: 0em; margin-right: 0.05em;"><span class="pstrut" style="height: 2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right: 0.0278em;">θ</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height: 0.15em;"><span class=""></span></span></span></span></span></span><span class="mopen">(</span><span class="mord mathnormal" style="margin-right: 0.0785em;">X</span><span class="mclose">)</span></span></span></span></span>由以下线性模型给出：<br> [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GVxwweUJ-1685355633945)(1-3.png)]</p> 

回顾一下，模型的参数是

      θ 
     
    
      j 
     
    
   
  
    \theta_j 
   
  
</span><span class="katex-html"><span class="base"><span class="strut" style="height: 0.9805em; vertical-align: -0.2861em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right: 0.0278em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height: 0.3117em;"><span class="" style="top: -2.55em; margin-left: -0.0278em; margin-right: 0.05em;"><span class="pstrut" style