线性回归原理与spark/sklearn实现

线性回归原理与spark/sklearn实现

@(SPARK)[spark, ML]

一、算法原理

1、线程回归与逻辑回归的区别

线性回归是一种很直观的数值拟合方式，它认为目标变量和属性值之间存在线性的关系。

逻辑回归是一种分类的方法，它给出一个拟合函数，将属性输入这个函数，大于某个值的属于一类，小于这个值的属于另一类。

二、spark实现

基于2.0.2版本

1、准备数据
0 1:0 2:0
2 1:1 2:1
4 1:2 2:2
8 1:4 2:4
16 1:8 2:8
6 1:3 2:3
10 1:5 2:5
12 1:6 2:6
14 1:7 2:7
200 1:100 2:100
400 1:200 2:200
1000 1:500 2:500
10000 1:5000 2:5000
100000 1:50000 2:50000
500 1:250 2:250
1000000 1:500000 2:500000

上面的数据期待的回归结果应该是y=x1+x2。
将上述文件put至hdfs。

2、导入数据

scala> val trai