SparkDataFrame简单介绍带你轻松入门

1 SparkDataFrame

1 DataFrame简介
在Spark语义中，DataFrame是一个分布式的行集合，可以想象为一个关系型数据库的表，或者一个带有列名的Excel表格。它和RDD一样，有这样一些特点：

• Immuatable：一旦RDD、DataFrame被创建，就不能更改，只能通过transformation生成新的RDD、DataFrame
• Lazy Evaluations：只有action才会触发Transformation的执行
• Distributed：DataFrame和RDD一样都是分布式的

DataFrame vs RDD

RDD：分布式的对象的集合，Spark并不知道对象的详细模式信息
DataFrame：分布式的Row对象的集合，其提供了由列组成的详细模式信息，使得Spark SQL可以进行某些形式的执行优化。

Pandas DataFrame vs Spark DataFrame

• Cluster Parallel：集群并行执行
• Lazy Evaluations: 只有action才会触发Transformation的执行
• Immutable：不可更改
• Pandas DataFrame 比Spark SQL api丰富

2 DataFrame创建

• 先创建SparkSession

  • SparkSession 是 Spark SQL 的入口
  • 使用Dataframe 编写 Spark SQL应用时，首先要创建SparkSession对象
  • Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置

spark = SparkSession.builder \
...     .master("local") \
...     .appName("Word Count") \
...     .getOrCreate()

• master(master)[source]

• 设置要链接到的spark master节点地址, 传入 “local” 代表本地模式, “local[4]”代表本地模式4内核运行 ,
  或者 “spark://master:7077” 提交到standalone集群模式运行

• appName(name)[source]

• 为Spark应用设置名字，可以通过Spark Web UI来显示这个名字，如果不设置会随机生成一个名字

• getOrCreate()[source]

• 获取一个已经存在的 SparkSession 或者如果没有已经存在的, 创建一个新的SparkSession

• 通过SparkSession创建dataframe

  • 通过 sparkSession.createDataFrame生成 pandas dataframe、list、RDD

  • 通过sparkSession.read.XXX生成 RDD、csv、json、parquet、orc、jdbc

jsonDF = spark.read.json("xxx.json")

jsonDF = spark.read.format('json').load('xxx.json')

parquetDF = spark.read.parquet("xxx.parquet")

jdbcDF = spark.read.format("jdbc").option("url","jdbc:mysql://localhost:3306/db_name").option("dbtable","table_name").option("user","xxx").option("password","xxx").load()