孙其功陪你学之——Spark MLlib之线性回归

最新推荐文章于 2021-05-09 22:17:22 发布

启功

最新推荐文章于 2021-05-09 22:17:22 发布

阅读量1.2k

点赞数

分类专栏： spark 文章标签： spark mllib 线性回归

spark 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

转自程序员的自我修养 – SelfUp.cn

由于在学习 spark mllib 但是如此详细的资料真的很难找，在此分享。

本文不涉及线性回归具体算法和原理性的东西，纯新手向、介绍性的文章。

线性回归

线性回归，对于初学者而言（比方说我）比较难理解，其实换个叫法可能就能立马知道线性回归是做什么的了：线性拟合。所谓拟合，就简单多了，如下图所示：

线性拟合，顾名思义拟合出来的预测函数是一条直线，数学表达如下：

h(x)=a0+a1x1+a2x2+..+anxn+J(θ)

其中 h(x) 为预测函数， ai(i=1,2,..,n) 为估计参数，模型训练的目的就是计算出这些参数的值。

而线性回归分析的整个过程可以简单描述为如下三个步骤：

寻找合适的预测函数，即上文中的 h(x) ，用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数，若是非线性的则无法用线性回归来得出高质量的结果。
构造一个Loss函数（损失函数），该函数表示预测的输出（h）与训练数据标签之间的偏差，可以是二者之间的差（h-y）或者是其他的形式（如平方差开方）。综合考虑所有训练数据的“损失”，将Loss求和或者求平均，记为 J(θ) 函数，表示所有训练数据预测值与实际类别的偏差。
显然， J(θ) 函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到 J(θ) 函数的最小值。找函数的最小值有不同的方法，Spark中采用的是梯度下降法（stochastic gradient descent, SGD)。

关于正则化手段

线性回归同样可以采用正则化手段，其主要目的就是防止过拟合。

当采用L1正则化时，则变成了Lasso Regresion；当采用L2正则化时，则变成了Ridge Regression；线性回归未采用正则化手段。通常来说，在训练模型时是建议采用正则化手段的，特别是在训练数据的量特别少的时候，若不采用正则化手段，过拟合现象会非常严重。L2正则化相比L1而言会更容易收敛（迭代次数少），但L1可以解决训练数据量小于维度的问题（也就是n元一次方程只有不到n个表达式，这种情况下是多解或无穷解的）。

MLlib提供L1、L2和无正则化三种方法：

	regularizer R(w)	gradient or sub-gradient
zero (unregularized)	0	0
L2	12∥w∥22	w
L1	∥w∥1	sign(w)

Spark线性回归实现

测试数据

 
        1 
       
        2 
       
        3 
       
        4 
       
        -0.4307829,-1.63735562648104 -2.00621178480549 -1.86242597251066 -1.02470580167082 -0.522940888712441 -0.863171185425945 -1.04215728919298 -0.864466507337306 
       
        -0.1625189,-1.98898046126935 -0.722008756122123 -0.787896192088153 -1.02470580167082 -0.522940888712441 -0.863171185425945 -1.04215728919298 -0.864466507337306 
       
        -0.1625189,-1.57881887548545 -2.1887840293994 1.36116336875686 -1.02470580167082 -0.522940888712441 -0.863171185425945 0.342627053981254 -0.155348103855541 
       
        ...

附件下载：lpsa

数据格式：逗号之前为label；之后为8个特征值，以空格分隔。

代码实现

 
         1 
       
         2 
       
         3 
       
         4 
       
         5 
       
         6 
       
         7 
       
         8 
       
         9 
       
         10 
       
         11 
       
         12 
       
         13 
       
         14 
       
         15 
       
         16 
       
         17 
       
         18 
       
         19 
       
         20 
       
         21 
       
         22 
       
         23 
       
         24 
       
         25 
       
         26 
       
         27 
       
         28 
       
         29 
       
         30 
       
         31 
       
         32 
       
         33 
       
         34 
       
         35 
       
         36 
       
         37 
       
         38 
       
         39 
       
         40 
       
        publicstaticvoidmain(String[]args){ 
       
            SparkConfsparkConf=newSparkConf() 
       
                  .setAppName("Regression") 
       
                  .setMaster("local[2]"); 
       
            JavaSparkContextsc=newJavaSparkContext(sparkConf); 
       
            JavaRDD<String>data=sc.textFile("/home/yurnom/lpsa.txt"); 
       
            JavaRDD<LabeledPoint>parsedData=data.map(line->{ 
       
                String[]parts=line.split(","); 
       
                double[]ds=Arrays.stream(parts[1].split(" ")) 
       
                      .mapToDouble(Double::parseDouble) 
       
                      .toArray(); 
       
                returnnewLabeledPoint(Double.parseDouble(parts[0]),Vectors.dense(ds)); 
       
            }).cache(); 
       
            intnumIterations=100;//迭代次数 
       
            LinearRegressionModelmodel=LinearRegressionWithSGD.train(parsedData.rdd(),numIterations); 
       
            RidgeRegressionModelmodel1=RidgeRegressionWithSGD.train(parsedData.rdd(),numIterations); 
       
            LassoModelmodel2=LassoWithSGD.train(parsedData.rdd(),numIterations); 
       
            print(parsedData,model); 
       
            print(parsedData,model1); 
       
            print(parsedData,model2); 
       
            //预测一条新数据方法 
       
            double[]d=newdouble[]{1.0,1.0,2.0,1.0,3.0,-1.0,1.0,-2.0}; 
       
            Vectorv=Vectors.dense(d); 
       
            System.out.println(model.predict(v)); 
       
            System.out.println(model1.predict(v)); 
       
            System.out.println(model2.predict(v)); 
       
        } 
       
        publicstaticvoidprint(JavaRDD<LabeledPoint>parsedData,GeneralizedLinearModelmodel){ 
       
            JavaPairRDD<Double,Double>valuesAndPreds=parsedData.mapToPair(point->{ 
       
                doubleprediction=model.predict(point.features());//用模型预测训练数据 
       
                returnnewTuple2<>(point.label(),prediction); 
       
            }); 
       
            DoubleMSE=valuesAndPreds.mapToDouble((Tuple2<Double,Double>t)->Math.pow(t._1()-t._2(),2)).mean();//计算预测值与实际值差值的平方值的均值 
       
            System.out.println(model.getClass().getName()+" training Mean Squared Error = "+MSE); 
       
        }

运行结果

 
        1 
       
        2 
       
        3 
       
        4 
       
        5 
       
        6 
       
        LinearRegressionModel training Mean Squared Error = 6.206807793307759 
       
        RidgeRegressionModel training Mean Squared Error = 6.416002077543526 
       
        LassoModel training Mean Squared Error = 6.972349839013683 
       
        Prediction of linear: 0.805390219777772 
       
        Prediction of ridge: 1.0907608111865237 
       
        Prediction of lasso: 0.18652645118913225

可以看到由于采用了正则化手段，ridge和lasso相对于linear其误差要大一些。在实际测试过程中，将迭代次数变成25时，有如下输出：

 
        1 
       
        2 
       
        3 
       
        LinearRegressionModeltrainingMeanSquaredError=50.57566692735476 
       
        RidgeRegressionModeltrainingMeanSquaredError=1.664723124099061E7 
       
        LassoModeltrainingMeanSquaredError=6.972196762562953