Spark 机器学习-实例演示- 线性回归《四》

线性回归

1.简介

线性回归是利用称为线性回归方程的函数对一个或多个自变量和  因变量之间关系进行建模的各种回归分析 

只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做 多元回归

2.基本过程

构造预测函数(h函数)

•构造cost函数

•利用梯度下降(上升)法来计算 的最小值

•梯度下降(上升)计算的向量化

3.基本理论

h函数：

cost函数:

梯度下降:

Mean Square Error:

4.程序示例

import org.apache.spark.SparkContext
import org.apache.spark.mllib.regression.LinearRegressionWithSGD
import org.apache.spark.mllib.regression.LabeledPoint

/**
 * Created by shaokai on 14-9-12.
 */
object LinearRegression {
  def main(args : Array[String]){
    val sc = new SparkContext("local[2]","BinaryClassification","/Users/software/spark-0.9.0-incubating-bin-hadoop1")

    val data = sc.textFile("/Users/workspace/chinahadoop/data/ridge-data/lpsa.data")

    val parsedData = data.map { line =>
      val parts = line.split(',')
      LabeledPoint(parts(0).toDouble, parts(1).split(' ').map(x => x.toDouble).toArray)
    }

    //构建模型
    val numIterations = 20
    val model = LinearRegressionWithSGD.train(parsedData, numIterations)

    //预测
    val valuesAndPreds = parsedData.map { point =>
      val prediction = model.predict(point.features)
      (point.label, prediction)
    }

    //计算MSE
    val MSE = valuesAndPreds.map{ case(v, p) => math.pow((v - p), 2)}.reduce(_ + _)/valuesAndPreds.count
    println("training Mean Squared Error = " + MSE)
  }
}