spark sql 读文件txt,json（未写完）

pom 文件，配置如下

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>${spark.version}</version>

    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.12</artifactId>
        <version>${spark.version}</version>

    </dependency>

    <dependency>
        <groupId>com.thoughtworks.paranamer</groupId>
        <artifactId>paranamer</artifactId>
        <version>2.8</version>
    </dependency>

</dependencies>

首先获得sparkSession

public static void getSparkSession(){
     spark=SparkSession.builder()
            .appName("review with StructType").master("local")
            .config("spark.some.confif.option","some-value")
            .getOrCreate();
}

读txt 文件

javaRDD与toJavaRDD

text() 与textFile() 方法区别

map 方法的两种不同写法

RDD 类型 装换为 Dataset<Row> 的两种映射 类型

第一种 javaBean 第二种 StructType