Spark 实现mllib分类 朴素贝叶斯，SVM，决策树以及随机森林。

一.简述

　　Spark是当下非常流行的数据分析框架，而其中的机器学习包Ｍllib也是其诸多亮点之一，相信很多人也像我那样想要快些上手spark。下面我将列出实现mllib分类的简明代码，代码中将简述训练集和样本集的结构，以及各分类算法的参数含义。分类模型包括朴素贝叶斯，ＳＶＭ，决策树以及随机森林。

 

二.实现代码

import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import java.util.LinkedList; import java.util.List;   import org.apache.spark.mllib.linalg.Vector; import org.apache.spark.mllib.linalg.Vectors; import org.apache.spark.mllib.regression.LabeledPoint;   import org.apache.spark.mllib.classification.NaiveBayes; import org.apache.spark.mllib.classification.NaiveBayesModel;   import org.apache.spark.mllib.classification.SVMModel; import org.apache.spark.mllib.classification.SVMWithSGD;   import java.util.HashMap; import java.util.Map; import org.apache.spark.mllib.tree.DecisionTree; import org.apache.spark.mllib.tree.model.DecisionTreeModel;   import org.apache.spark.mllib.tree.RandomForest; import org.apache.spark.mllib.tree.model.RandomForestModel;   public class test {      public static void main(String[] arg){         //生成spark对象          SparkConf conf = new SparkConf();          conf.set( "spark.testing.memory" , "2147480000" );  // spark的运行配置，意指占用内存2G          JavaSparkContext sc = new JavaSparkContext( "local[*]" , "Spark" , conf);      //第一个参数为本地模式，[*]尽可能地获取多的cpu；第二个是spark应用程序名，可以任意取;第三个为配置文件                    //训练集生成          LabeledPoint pos = new LabeledPoint( 1.0 , Vectors.dense( 2.0 , 3.0 , 3.0 )); //规定数据结构为LabeledPoint，1.0为类别标号，Vectors.dense(2.0, 3.0, 3.0)为特征向量          LabeledPoint neg = new LabeledPoint( 0.0 , Vectors.sparse( 3 , new int [] { 2 , 1 , 1 }, new double [] { 1.0 , 1.0 , 1.0 })); //特征值稀疏时，利用sparse构建         List l = new LinkedList(); //利用List存放训练样本          l.add(neg);          l.add(pos);          JavaRDD<LabeledPoint>training = sc.parallelize(l); //ＲＤＤ化，泛化类型为LabeledPoint 而不是List          final NaiveBayesModel nb_model = NaiveBayes.train(training.rdd());                           //测试集生成          double []  d = { 1 , 1 , 2 };          Vector v =  Vectors.dense(d); //测试对象为单个vector，或者是ＲＤＤ化后的vector            //朴素贝叶斯        System.out.println(nb_model.predict(v)); // 分类结果        System.out.println(nb_model.predictProbabilities(v)); // 计算概率值                  //支持向量机        int numIterations = 100 ; //迭代次数        final SVMModel svm_model = SVMWithSGD.train(training.rdd(), numIterations); //构建模型        System.out.println(svm_model.predict(v));          //决策树        Integer numClasses = 2 ; //类别数量        Map<Integer, Integer> categoricalFeaturesInfo = new HashMap();        String impurity = "gini" ; //对于分类问题，我们可以用熵entropy或Gini来表示信息的无序程度 ,对于回归问题，我们用方差(Variance)来表示无序程度，方差越大，说明数据间差异越大        Integer maxDepth = 5 ; //最大树深        Integer maxBins = 32 ; //最大划分数        final DecisionTreeModel tree_model = DecisionTree.trainClassifier(training, numClasses,categoricalFeaturesInfo, impurity, maxDepth, maxBins); //构建模型        System.out.println( "决策树分类结果：" );          System.out.println(tree_model.predict(v));                //随机森林        Integer numTrees = 3 ; // Use more in practice.        String featureSubsetStrategy = "auto" ; // Let the algorithm choose.        Integer seed = 12345 ;        // Train a RandomForest model.        final RandomForestModel forest_model = RandomForest.trainRegressor(training,          categoricalFeaturesInfo, numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins, seed); //参数与决策数基本一致，除了seed        System.out.println( "随机森林结果：" );          System.out.println(forest_model.predict(v));      }    }

三.注意

１.利用spark进行数据分析时，数据一般要转化为ＲＤＤ（利用spark所提供接口读取外部文件,一般会自动转化为ＲＤＤ，通过ＭａｐＲｅｄｕｃｅ处理同样可以产生与接口匹配的训练集）

2.训练样本统一为标签向量(LabelPoint)。样本集为List,但是转化为ＲＤＤ时，数据类型却为JavaRDD<LabeledPoint>（模型训练时，接口只接收数据类型为JavaRDD<LabeledPoint>）

3.分类predict返回结果为类别标签,贝叶斯模型可返回属于不同类的概率（ｐｙｔｈｏｎ没用该接口）