Deep Learning Exercise: Linear Regression

Deep Learning Exercise: Linear Regression

---

简介

最简单的二元线性回归，参考斯坦福大学教学网http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html。该例给出的训练集有50个样本，其中 x 指 50 个小孩子的年龄，从 2 岁到 8 岁，y 为这 50 个小孩子所对应的身高。问题是通过这 50 个样本建立出一个合适的模型，并且预测出 3.5 岁和 7 岁小孩子的身高。我们通过建立二元线性回归模型来解答这一问题。

原本的问题示例和解答中使用的是 Matlab，而本文所使用的是 Mathematica，以下是这一问题的不同解决方法加代码。

解法及代码

读取数据并进行初步处理

ex2x = Import["/Users/xuzhouyang/Downloads/ex2Data/ex2x.dat”]
ex2y = Import["/Users/xuzhouyang/Downloads/ex2Data/ex2y.dat”]
ex2x = Flatten[ex2x]
ex2y = Flatten[ex2y]
ex2x1 = Thread[List[ex2x, 1]]

对于训练集中的 50 个样本绘制散点图

ListPlot[Thread[List[ex2x, ex2y]],AxesLabel -> {"Age in years", "Height in meters”}]

方法一：Normal Equation

计算模型参数 theta

theta = Inverse[Transpose[ex2x1].ex2x1].Transpose[ex2x1].ex2y

通过计算的模型参数绘出拟合的直线

Show[ListPlot[Thread[List[ex2x, ex2y]],
  AxesLabel -> {"Age in years", "Height in meters"}],
Plot[theta[[1]]*x + theta[[2]], {x, 2, 8}]]

方法二：Gradient descend

theta = {0, 0}
Module[{alpha = 0.07, m=Length[ex2y]},
  For[i = 0, i < 1500, i++,
    grad = Transpose[ex2x1].(ex2x1.theta - ex2y)/m;
    theta = theta - alpha*grad]

方法三（使用 MMA 内置的线性拟合来验证）

lm = LinearModelFit[Thread[List[ex2x, ex2y]], x, x]

通过计算得到的 theta 参数来进行预测：

{3.5, 1}.theta    0.973742
{7, 1}.theta       1.19733

可以得到结果分别是 3.5 岁的孩子身高为 0.973742，7 岁孩子的身高为 1.19733。

绘制关于 theta 的 cost function J(theta) 的等高线图

ContourPlot[Total[(ex2x1.{x, y} - ex2y)^2]/(
2*50), {x, -10, 10}, {y, -10, 10}, Contours -> 10]

感谢阅读。