线性回归原理与spark/sklearn实现
@(SPARK)[spark, ML]
一、算法原理
1、线程回归与逻辑回归的区别
线性回归是一种很直观的数值拟合方式,它认为目标变量和属性值之间存在线性的关系。
逻辑回归是一种分类的方法,它给出一个拟合函数,将属性输入这个函数,大于某个值的属于一类,小于这个值的属于另一类。
二、spark实现
基于2.0.2版本
1、准备数据
0 1:0 2:0
2 1:1 2:1
4 1:2 2:2
8 1:4 2:4
16 1:8 2:8
6 1:3 2:3
10 1:5 2:5
12 1:6 2:6
14 1:7 2:7
200 1:100 2:100
400 1:200 2:200
1000 1:500 2:500
10000 1:5000 2:5000
100000 1:50000 2:50000
500 1:250 2:250
1000000 1:500000 2:500000
上面的数据期待的回归结果应该是y=x1+x2。
将上述文件put至hdfs。
2、导入数据
scala> val trai