spark-SQL的DataFrame和DataSet

1、如何对DataFrame中封装的数据进行操作

       方法一： 

                 sqlContext.read()      返回DataFrameReader对象

            sqlContext.read().json("student.json")     读取一个json文件（这个json文件中的内容不能是嵌套的）读进来变成DataFrame,

           df.select("age").show()，如果没有show,这个程序就不会执行，这个show就类似与Spark中Action类型的算子，触发执行

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;

public class TestSparkSQL {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("DataFrameOps").setMaster("local");
        
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        
        DataFrame df = sqlContext.read().json("people.json");
        
        
        /*
         * 操作DataFrame的第一种方式
         * */
        //类似 SQL的select from table;
        df.show();
        //desc table
        df.printSchema();
        
        //select age from table;
        df.select("age").show();
        //select name from table;
        df.select("name").show();
        //select name,age+10 from table;
        df.select(df.col("name"),df.col("age").plus(10)).show();
        //select * from table where age > 20
        df.filter(df.col("age").gt(20)).show();
    }
}

通过df.show()   df.printSchema()便可以查看该df中的信息。

方法二：通过注册临时表，传入SQL语句

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;

public class TestSparkSQL {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("DataFrameOps").setMaster("local");
        
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        
        DataFrame df = sqlContext.read().json("people.json");
        
        //将DataFrame中封装的数据注册为一张临时表，对临时表进行sql操作
        df.registerTempTable("people");
        DataFrame sql = sqlContext.sql("SELECT * FROM people WHERE age IS NOT NULL");
        sql.show(); 
    }
}