PySpark之Spark SQL的使用《七》

一、Spark SQL简介

Spark SQL is Apache Spark's module for working with structured data.

Spark SQL是一个用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。有几种与Spark SQL交互的方法，包括SQL和Dataset API。当计算结果时，使用的是相同的执行引擎，与表示计算所用的API/语言无关。这种统一意味着开发人员可以很容易地在不同的api之间来回切换，这些api提供了表达给定转换的最自然的方式。

本页上的所有示例都使用Spark发行版中包含的示例数据，可以在Spark -shell、pyspark shell或sparkR shell中运行。

• Integrated《集成》

SQL查询与Spark程序无缝结合。

Spark SQL允许您使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据。适用于Java、Scala、Python和R语言。

results = spark.sql(
  "SELECT * FROM people")
names = results.map(lambda p: p.name)
Apply functions to results of SQL queries.

• Uniform Data Access《统一的数据访问》

以同样的方式连接到任何数据源。

DataFrames和SQL提供了一种通用的方法来访问各种数据源，包括Hive、Avro、Parquet、ORC、JSON和JDBC。您甚至可以跨这些源联接数据。

spark.read.json("s3n://...")
  .registerTempTable("json")
results = spark.sql(
  """SELECT *
     FROM people
     JOIN json ...""")

• Hive Integration《整合Hive》

在现有仓库上运行SQL或HiveQL查询。

Spark SQL支持HiveQL语法以及Hive SerDes和udf，允许您访问现有的Hive仓库。

• Standard Connectivity《标准的连接》

通过JDBC或ODBC连接。

服务器模式为商业智能工具提供了行业标准的JDBC和ODBC连接。

二、Spark SQL操作

• spark sql基础操作

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *

#spark Sql 基础操作
def test():
    # spark = SparkSession.builder.appName('spark005').getOrCreate()
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL basic example") \
        .config("spark.some.config.option",
                "some-value") \
        .getOrCreate()

    df = spark.read.json('file:///Users/wangyun/Documents/BigData/script/data/people.json')

    df.show()
    df.printSchema()
    df.select('name').show()
    df.select(df['name'], df['age'] + 1).show()
    df.filter(df['age'] > 21).show()
    # Count people by age
    df.groupBy("age").count().show()

    print('createOrReplaceTempView')
    df.createOrReplaceTempView("people")
    sqlDF = spark.sql("SELECT * FROM people")
    sqlDF.show()

    spark.stop()

运行结果：
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

root
 |-- age: long (nullable = true)
 |-- name: string (nullable = true)

+-------+
|   name|
+-------+
|Michael|
|   Andy|
| Justin|
+-------+

+-------+---------+
|   name|(age + 1)|
+-------+---------+
|Michael|     null|
|   Andy|       31|
| Justin|       20|
+-------+---------+

+---+----+
|age|name|
+---+----+
| 30|Andy|
+---+----+

+----+-----+
| age|count|
+----+-----+
|  30|    1|
|  19|    1|
|null|    1|
+----+-----+

createOrReplaceTempView
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+


Process finished with exit code 0

 

Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。第一种方法使用反射来推断包含特定对象类型的RDD的模式。这种基于反射的方法使代码更简洁，当您在编写Spark应用程序时已经了解模式时，这种方法可以很好地工作。

创建数据集的第二种方法是通过编程接口，该接口允许您构造模式，然后将其应用于现有的RDD。虽然此方法更详细，但它允许您在列及其类型直到运行时才知道时构造数据集。

• rdd转化schemedataframe

Spark SQL可以将Row对象的RDD转换为DataFrame，从而推断数据类型。行是通过将一组键/值对作为kwargs传递给Row类来构造的。这个列表的键定义表的列名，类型通过对整个数据集进行采样来推断，类似于对JSON文件执行的推断。

from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql.types import *

def schemeReflection():
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL basic example") \
        .config("spark.some.config.option",
                "some-value") \
        .getOrCreate()
    sc = spark.sparkContext
    lines = sc.textFile(
        "file:///Users/wangyun/Documents/BigData/script/data/people.txt")
    parts = lines.map(lambda l: l.split(","))
    print(parts.collect())

    people = parts.map(
        lambda p: Row(name=p[0], age=int(p[1])))
    # Infer the schema, and register the DataFrame as a table.
    schemaPeople = spark.createDataFrame(people)
    schemaPeople.createOrReplaceTempView("people")
    # SQL can be run over DataFrames that have been registered as a table.
    teenagers = spark.sql(
        "SELECT name FROM people WHERE age >= 13 AND age <= 19")

    # The results of SQL queries are Dataframe objects.
    # rdd returns the content as an :class:`pyspark.RDD` of :class:`Row`.
    teenNames = teenagers.rdd.map(
        lambda p: "Name: " + p.name).collect()
    for name in teenNames:
        print(name)
    # Name: Justin

• 使用反射推断模式

Spark SQL可以将Row对象的RDD转换为DataFrame，从而推断数据类型。行是通过将一组键/值对作为kwargs传递给Row类来构造的。这个列表的键定义表的列名，类型通过对整个数据集进行采样来推断，类似于对JSON文件执行的推断。

#创建scheme作用于rdd
def programmascheme():
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL basic example") \
        .config("spark.some.config.option",
                "some-value") \
        .getOrCreate()
    sc = spark.sparkContext

    # Load a text file and convert each line to a Row.
    lines = sc.textFile(
        "file:///Users/wangyun/Documents/BigData/script/data/people.txt")
    parts = lines.map(lambda l: l.split(","))
    # Each line is converted to a tuple.
    people = parts.map(
        lambda p: (p[0], p[1].strip()))

    # The schema is encoded in a string.
    schemaString = "name age"

    fields = [
        StructField(field_name, StringType(),
                    True) for field_name in
        schemaString.split()]
    schema = StructType(fields)

    # Apply the schema to the RDD.
    schemaPeople = spark.createDataFrame(people,
                                         schema)

    # Creates a temporary view using the DataFrame
    schemaPeople.createOrReplaceTempView("people")

    # SQL can be run over DataFrames that have been registered as a table.
    results = spark.sql("SELECT name FROM people")

    results.show()

    results = spark.sql("SELECT * FROM people")

    results.show()

 

 

 

相关推荐:

hadoop,pySpark环境安装与运行实战《一》
Spark RDD操作，常用算子《二》
PySpark之算子综合实战案例《三》
Spark运行模式以及部署《四》
Spark Core解析《五》
PySpark之Spark Core调优《六》
PySpark之Spark SQL的使用《七》
 

 

 

持续更新中...