Deep Learning Exercise: Linear Regression
简介
最简单的二元线性回归,参考斯坦福大学教学网http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html。该例给出的训练集有50个样本,其中 x 指 50 个小孩子的年龄,从 2 岁到 8 岁,y 为这 50 个小孩子所对应的身高。问题是通过这 50 个样本建立出一个合适的模型,并且预测出 3.5 岁和 7 岁小孩子的身高。我们通过建立二元线性回归模型来解答这一问题。
原本的问题示例和解答中使用的是 Matlab,而本文所使用的是 Mathematica,以下是这一问题的不同解决方法加代码。
解法及代码
读取数据并进行初步处理
ex2x = Import["/Users/xuzhouyang/Downloads/ex2Data/ex2x.dat”]
ex2y = Import["/Users/xuzhouyang/Downloads/ex2Data/ex2y.dat”]
ex2x = Flatten[ex2x]
ex2y = Flatten[ex2y]
ex2x1 = Thread[List[ex2x, 1]]
对于训练集中的 50 个样本绘制散点图
ListPlot[Thread[List[ex2x, ex2y]],AxesLabel -> {"Age in years", "Height in meters”}]
方法一:Normal Equation
计算模型参数 theta
theta = Inverse[Transpose[ex2x1].ex2x1].Transpose[ex2x1].ex2y
通过计算的模型参数绘出拟合的直线
Show[ListPlot[Thread[List[ex2x, ex2y]],
AxesLabel -> {"Age in years", "Height in meters"}],
Plot[theta[[1]]*x + theta[[2]], {x, 2, 8}]]
方法二:Gradient descend
theta = {0, 0}
Module[{alpha = 0.07, m=Length[ex2y]},
For[i = 0, i < 1500, i++,
grad = Transpose[ex2x1].(ex2x1.theta - ex2y)/m;
theta = theta - alpha*grad]
方法三(使用 MMA 内置的线性拟合来验证)
lm = LinearModelFit[Thread[List[ex2x, ex2y]], x, x]
通过计算得到的 theta 参数来进行预测:
{3.5, 1}.theta 0.973742
{7, 1}.theta 1.19733
可以得到结果分别是 3.5 岁的孩子身高为 0.973742,7 岁孩子的身高为 1.19733。
绘制关于 theta 的 cost function J(theta) 的等高线图
ContourPlot[Total[(ex2x1.{x, y} - ex2y)^2]/(
2*50), {x, -10, 10}, {y, -10, 10}, Contours -> 10]
感谢阅读。