使用Java和Scala在IDE中实战RDD和DataFrame动态转换操作

什么是非动态转换？

=> 提前已经知道了RDD具体数据的元数据信息，可以通过JavaBean或Case Class的方式提前创建DataFrame时，通过反射的方式获得元数据信息。

什么是动态转换？

=> 无法提前知道具体的RDD每个Record的列的个数及每列的类型只有在运行时才能知道。

这种情况在生产环境下更常见。因为在生产环境下提前知道数据的元数据信息的可能性不大。另外，生产环境下业务会变化，业务变化时列就会变化，或列的数据类型变化 ，如果采用静态的方式的话，每次业务变化时代码需要大幅度的修改。如果采用动态的方式，元数据来自于数据库或文件或其他方式，业务变化时代码的业务逻辑不会发生过多变化。

Scala实现的两种方式：

1 在main方法中

2 继承app去写代码。

2015年Spark在全球奠定了大数据分析OS的基础。

Spark是什么？=>Spark是大数据分析的平台，Spark上又有很多分支（可以扩展），

2015年业界对大数据streaming的要求更多了。信用卡诈骗，天气查询，交通监控，医疗等都要求实时处理。其实一切皆流处理。Spark是流处理界的霸主，因为流入的数据可以直接用SparkSQL处理，然后再进行机器学习、图计算等处理。

SparkSQL讲解步骤：

1 编程方式

2 内核

3 性能优化

import java.util.ArrayList;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;

public class RDD2DataFrameByPaogram {
    public static void main(String[] args) {
        SparkConf conf =new SparkConf().setAppName("dataframesql").setMaster("local");
        JavaSparkContext sc=new JavaSparkContext(conf);
        SQLContext sqlContext=new SQLContext(sc);
        JavaRDD<String> lines=sc.textFile("C:\\Users\\Administrator\\Desktop\\1.txt");

        /**
         * 第一步：在RDD的基础上创建类型为Row的RDD
         */
        JavaRDD<Row> persionRDD=lines.map(new Function<String, Row>() {

            public Row  call(String line) throws Exception {
                // TODO Auto-generated method stub
                String[] splited=line.split(",");

                return RowFactory.create(Integer.valueOf(splited[0]),splited[1],Integer.valueOf(splited[2]));

            }
        });

        /**
         * 第二步：动态构造DataFrame的元数据，一般而言，有多少列以及每列的具体类型可能来自于JSON文件，也可能来自于数据库
         */
        List<StructField> structFields=new ArrayList<StructField>();
        structFields.add(DataTypes.createStructField("id", DataTypes.IntegerType, true));
        structFields.add(DataTypes.createStructField("name", DataTypes.StringType, true));
        structFields.add(DataTypes.createStructField("age", DataTypes.IntegerType, true));
        //构建StructType，用于最后DataFrame元数据的描述
        StructType  structType=DataTypes.createStructType(structFields);
        /**
         *  第三步：基于以后的metastore以及RDD<Row>来构造DataFrame
         */

        DataFrame persionDF=sqlContext.createDataFrame(persionRDD, structType);

        /**
         * 第四步：注册成为临时表以供后续的SQL查询操作
         */
        persionDF.registerTempTable("persions");

        /**
         * 第五步，进行数据的多维度分析
         */
        DataFrame result=sqlContext.sql("select*from persions");

        /**
         * 第六步：对结果进行处理，包括由DataFrame转换成为RDD<Row>，以及结构持久化
         */
        List<Row> listRow=result.javaRDD().collect();

        for (Row row : listRow) {
            System.out.println(row);
        }
    }
}