pyspark 加载jar_pyspark之输入输出

pyspark读写dataframe1. 连接spark

2. 创建dataframe2.1. 从变量创建

2.2. 从变量创建

2.3. 读取json

2.4. 读取csv

2.5. 读取MySQL

2.6. 从pandas.dataframe创建

2.7. 从列式存储的parquet读取

2.8. 从hive读取

2.9.从hdfs读取

3. 保存数据3.1. 写到csv

3.2. 保存到parquet

3.3. 写到hive

3.4. 写到hdfs

3.5. 写到mysql

1. 连接spark

from pyspark.sql import SparkSession

spark=SparkSession \

.builder \

.appName('my_first_app_name') \

.getOrCreate()

2. 创建dataframe

2.1. 从变量创建

# 生成以逗号分隔的数据

stringCSVRDD = spark.sparkContext.parallelize([

(123, "Katie", 19, "brown"),

(234, "Michael", 22, "green"),

(345, "Simone", 23, "blue")

])

# 指定模式, StructField(name,dataType,nullable)

# 其中：

# name: 该字段的名字，

# dataType：该字段的数据类型，

# nullable: 指示该字段的值是否为空

from pyspark.sql.types import StructType, StructField, LongType, StringType # 导入类型

schema = StructType([

StructField("id", LongType(), True),

StructField("name", StringType(), True),

StructField("age", LongType(), True),

StructField("eyeColor", StringType(), True)

])

# 对RDD应用该模式并且创建DataFrame

swimmers = spark.createDataFrame(stringCSVRDD,schema)

# 利用DataFra