spark sql 示例工程

1 环境搭建

 基于maven搭建spark工程_this is a book的博客-CSDN博客_创建spark的maven项目

2  输入源

      本文输入示例是csv,而且csv第一行是表头

       csv之间的数据分隔符是 逗号

3  示例代码

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("demo").setMaster("local[*]");
        SparkSession sparkSession = SparkSession.builder().config(conf).getOrCreate();
        Dataset<Row> link = sparkSession.read().option("delimiter", ",")
                .option("header", "true")
                .csv("csv文件位置");
        link.createOrReplaceTempView("demo");
        sparkSession.sql("SELECT * FROM demo  ").show();
    }