<转>【DataFrame】数据离散化重组

离散化的原始数据来自 Spark 源码包，离散化函数选用 spark ml 包中的 Bucketizer 方法。

[java]  view plain  copy

1. package ethink  
2.   
3. import org.apache.spark.sql.SQLContext  
4. import org.apache.spark.SparkConf  
5. import org.apache.spark.SparkContext  
6. import org.apache.spark.sql._  
7. import org.apache.spark.sql.types._  
8. import org.apache.spark.sql.Row  
9. import org.apache.spark.ml.feature.Bucketizer  
10. import org.apache.spark.mllib.linalg.SparseVector  
11. import org.apache.spark.mllib.linalg.DenseVector  
12. import org.apache.spark.sql.types.StructType   
13. import org.apache.spark.ml.feature._  
14. import org.apache.spark.mllib.regression.LabeledPoint  
15. import org.apache.spark.mllib.linalg.Vectors  
16.   
17. /** 
18.  * author:Li Ruiqi 
19.  * DataFrame的离散化重组 
20.  */  
21. object fsTest2 {  
22.   val conf = new SparkConf().setMaster("local").setAppName("RFChurnPredictionByDF")  
23.   val sc = new SparkContext(conf)  
24.   val sqlContext = new SQLContext(sc)  
25.   import sqlContext.implicits._//DataFrame和RDD的隐式转换包  
26.     
27.   def main(args: Array[String]): Unit = {  
28.     val rawData = sc.textFile("D:/javaspace/spark161Test/data/mllib/lr_data.txt")  
29.     /** 
30.      * 1000 records (1 - label; 10 - features) 
31.      */  
32.     val records = rawData.map(line => line.split(" "))  
33.   
34. //设置(NumericalData)DataFrame的字段名-FieldName  
35.     val TransString = new Array[String](11)  
36.     TransString(0) = "label"  
37.     for(i <- 1 to 10 ) {TransString(i) = "var" + (i).toString()}  
38.     val schemaString = TransString  
39.       
40.     val schema = StructType(schemaString.map(fieldName => StructField(fieldName,StringType,true)))  
41.       
42.     val newData = records.map { r =>  
43.         r.map(d => d.toDouble).mkString(",")    
44.     }  
45.     val rddRow = newData.map(_.split(",")).map(k => Row.fromSeq(k.toSeq))//RDD[Row]  
46.       
47.     val rowDataFrame = sqlContext.createDataFrame(rddRow, schema)//DataFrame格式的label-NumericalData  
48.     rowDataFrame.show()  
49.       
50.     def FieldDiscretization(VarX:String, VarDis:String):DataFrame = { //定制的特征离散化函数  
51.         val NumVar = rowDataFrame.select(VarX).map(k => k(0).toString.toDouble).collect()  
52.         val dataFrameNumVar = sqlContext.createDataFrame(NumVar.map(Tuple1.apply)).toDF("features")  
53.         val sortedVar = NumVar.sorted  
54.         val splits = Array(NumVar.min,sortedVar(200),sortedVar(400),sortedVar(600),sortedVar(800),NumVar.max)  
55.         val bucketizer = new Bucketizer()  
56.           .setInputCol("features")  
57.           .setOutputCol("bucketedFeatures")  
58.           .setSplits(splits)  
59.         val bucketedData = bucketizer.transform(dataFrameNumVar)  
60. //      bucketedData.show()  
61.         
62.         val DisVar = bucketedData.select("bucketedFeatures")//离散化之后的特征列  
63.                               .withColumnRenamed("bucketedFeatures", VarDis)  
64.                          
65.         DisVar  
66. //     DisVar.show()  
67.     }  
68.       
69.     val Label = rowDataFrame.select("label")  
70.     var zipOutCome = Label  
71.       
72.     for(k <- 1 to 10){  
73.       val Para1:String = "var" + k.toString()  
74.       val Para2:String = "var" + k.toString() + "Dis"  
75.       val VarDis = FieldDiscretization(Para1, Para2)  
76.       val zipRDD = zipOutCome.rdd.zip(VarDis.rdd).map(x => Row.fromSeq(x._1.toSeq ++ x._2.toSeq))    
77.       val zipSchame = StructType(zipOutCome.schema ++ VarDis.schema)  
78.       zipOutCome = sqlContext.createDataFrame(zipRDD, zipSchame)  
79.     }  
80.   
81.     val disDataFrame = zipOutCome//离散化之后的DataFrame： label - features  
82.     disDataFrame.show()  
83.       
84.      /** 
85.       * 普通的二维表格式转换成机器学习需要的DataFrame的Label和Feature格式 
86.       */  
87.        
88.    def twoDimTableToDFLabelAndFeature(inputDF: DataFrame):DataFrame = {  
89.      val inputDFLabeledPoint = inputDF.map{row =>  
90.        val rowToArray = row.toSeq.toArray.map(x => x.toString().toDouble)  
91.        val label = rowToArray(0)  
92.        val featuresArray = rowToArray.drop(1)  
93.        val features = Vectors.dense(featuresArray)  
94.        LabeledPoint(label,features)   
95.      }  
96.      import sqlContext.implicits._  
97.      val outputDF = inputDFLabeledPoint.toDF("label","features")  
98.      outputDF  
99.    }  
100.       
101.     val df = twoDimTableToDFLabelAndFeature(disDataFrame)  
102.     df.show()  
103.   }  
104. }  

rowDataFrame.show()

disDataFrame.show()

df.show()

参考文章：http://spark.apache.org/docs/latest/ml-features.html#bucketizer