Spark SQL之创建dataFrame的多种方法

Spark SQL之创建dataFrame的多种方法

1.Spark SQL是什么

1. 官网http://spark.apache.org/sql/
   
2. Spark SQL顾名思义，就是通过SQL来使用Spark强大的数据分析能力，而不用去写代码。类似一Hive，可以将框架的使用门槛极大降低。因为SQL是很多人都会使用的，而编写代码门槛相对高得多。

2. dataFrame是什么

1. 官网介绍
   
2. 和RDD类似，dataFrame也是一个分布式抽象数据容器。并不存储数据，但会存储数据来源，数据操作以及数据结构化信息schema，类似一个数据库的表。
   
3. 和hive类似，也支持嵌套数据类型，struct、map、array等。
4. 对比RDD，dataframe的APi抽象层级更高，使用更加友好，门槛更低。
5. dataFrame可以理解为RDD+schema，没错，就是mysql中经常听到的元数据，或者说结构信息。
6. dataframe上的操作，不管是sql还是dsl的操作，最终是转换为dataframe的操作，而dataframe的操作最终是转换为针对RDD的操作，最终变成分布式物理计划执行并产生结果。
7. 跟hive类似，Spark SQL也会对逻辑计划做优化，先拆解，优化逻辑计划，优化物理计划，最后执行。
8. Hive则是SQL优化器，解析器将sql解析为逻辑计划，执行器将逻辑计划变为物理计划。
9. Tez则是类似Spark的思路，将mapreduce的任务组合为DAG，达到对mapreduce 的提效目的，但本质并没有spark快捷。

3. Spark SQL特性

1. 易集成
2. 统一数据访问格式
3. Hive集成方便
4. 标准链接，可以使用JDBC等链接
   
5. 性能和可扩展性
6. 社区庞大
   

4. 如何创建dataFrame

环境准备

• Idea 2020
• jdk1.8
• scala 2.12.12
• maven 3.6.3
• pom文件

<!-- 定义了一些常量 -->
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.12.10</scala.version>
        <spark.version>3.0.1</spark.version>
        <hbase.version>2.2.5</hbase.version>
        <hadoop.version>3.2.1</hadoop.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>
        <!-- 导入scala的依赖 -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <!-- 编译时会引入依赖，打包是不引入依赖 -->
            <!--            <scope>provided</scope>-->
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.12</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>${spark.version}</version>
            <!-- 编译时会引入依赖，打包是不引入依赖 -->
            <!--            <scope>provided</scope>-->
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.alibaba/fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.73</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>

    </dependencies>

    <build>
        <pluginManagement>
            <plugins>
                <!-- 编译scala的插件 -->
                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.2</version>
                </plugin>
                <!-- 编译java的插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.5.1</version>
                </plugin>
            </plugins>