pyspark系列--读写dataframe

目录

• 1. 连接spark
• 2. 创建dataframe
  
  • 2.1. 从变量创建
  • 2.2. 从变量创建
  • 2.3. 读取json
  • 2.4. 读取csv
  • 2.5. 读取MySQL
  • 2.6. 从pandas.dataframe创建
  • 2.7. 从列式存储的parquet读取
  • 2.8. 从hive读取
• 3. 保存数据
  
  • 3.1. 写到csv
  • 3.2. 保存到parquet
  • 3.3. 写到hive
  • 3.4. 写到hdfs
  • 3.5. 写到mysql

1. 连接spark

from pyspark.sql import SparkSession

spark=SparkSession \
        .builder \
        .appName('my_first_app_name') \
        .getOrCreate()

2. 创建dataframe

2.1. 从变量创建

# 生成以逗号分隔的数据
stringCSVRDD = spark.sparkContext.parallelize([
    (123, "Katie", 19, "brown"),
    (234, "Michael", 22, "green"),
    (345, "Simone", 23, "blue")
])
# 指定模式, StructField(name,dataType,nullable)
# 其中：
#   name: 该字段的名字，
#   dataType：该字段的数据类型，
#   nullable: 指示该字段的值是否为空
from pyspark.sql.types import StructType, StructField, LongType, StringType  # 导入类型

schema = StructType([
    StructFi