MLlib回归算法（线性回归、决策树）实战演练--Spark学习（机器学习）

最近太忙，自己的机器学习进度耽误了两个星期，现在才把回归这一章看完。闲话不多说，本篇文章依旧是《Spark机器学习》中的内容。书上的代码全部是用python写的，但是由于我最近一直使用的是Scala，所以本篇博客使用的是scala，当然这样就没法像书中那样画图了。
第六章将的是回归算法，主要用到的是线性回归与决策树算法，老规矩这里不讲原理（主要是自己讲不清楚），想知道原理的建议参考Andrew NG机器学习课程或查看其他资料。另外关于API查看官方文档（个人感觉官方文档很有用）。
Andrew NG机器学习：https://www.coursera.org/learn/machine-learning
官方文档：http://spark.apache.org/
下面进入正题

数据源

本次回归算法用到的数据源为自行车租车数据，下载地址为：http://archive.ics.uci.edu/ml/datasets/Bike+Sharing+Dataset，主要用hour.csv数据。
数据描述：此数据是根据一系列的特征预测每小时自行车租车次数。数据中字段分别为：
instant：记录ID
dteday：时间
season：四季信息
yr：年份（2011或2012）
mnth：月份
hr：当天时刻
holiday：是否节假日
weekday：周几
workingday：当天是否工作日
weathersit：表示天气类型的参数
temp：气温
atemp：体感温度
hum：湿度
windspeed：风速
cnt：目标变量，每小时的自行车租车量
一共15个字段，主要目的是预测最后一个字段的租车量。研究数据发现头两个字段对于预测结果没什么用处，所以这里不考虑。

一、线性回归

想必初学机器学习的同学都是从这个算法开始的吧，其实就是给一些特征然后预测一个值例如预测房价、股票等。
在spark的MLlib中回归算法与分类算法的用法其实相似，主要区别就是在LabeledPoint中的label不同，分类算法是具体的类别，而回归算法是一个不定的值。

1.特征提取

观察数据发现从第3到第10个字段是类型变量（类型变量就是取值一直就只有那么几种，例如星期几、天气状况等），11到14字段是实数变量（实数变量就是一个无法确定的值）这里的值已经进行过归一化处理了，如果没归一化处理需先归一处理，可以提高准确度。

类别特征

其实上一篇博客已经讲过类别型数据怎么提取特征，主要方法就是将类别数据转换为二元向量，就是用一个向量来表示类别。举个例子就是如果水果有三类分别为苹果、香蕉、梨。一般在类别数据中记录的形式为1：苹果，2：香蕉，3：梨。将其转换为二元向量之后就是001：苹果，010：香蕉，100：梨。如果不转换为二元特征算出来会有错误，本数据我试过如果不转换预测结果是负数。

实数特征

实数特征一般就不用处理可以直接使用了，但是如前面提到的一般要归一处理

2.代码实现

import breeze.linalg.sum
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LinearRegressionWithSGD, LabeledPoint}
import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by luo on 12/18/15.
  */
object ML_Regression {

  def main(args: Array[String]) {

    val conf=new SparkConf().setAppName("regression").setMaster("local[1]")
    val sc=new SparkContext(conf)

    val records=sc.textFile(