文章介绍了如何在Python中创建和使用SparkContext及SparkSession对象。首先展示了如何通过SparkConf和SparkContext建立Spark应用的基本配置，接着演示了如何读取文本文件创建RDD。然后转向SparkSession，它是Spark2.x中的主要入口点，用于读取CSV文件并创建DataFrame，同时调整了shuffle.partitions的配置。
SparkContext对象
#!/usr/bin/python
# -*- coding: utf-8 -*-
from pyspark import SparkConf, SparkContext
if __name__ == '__main__':
# 构建SparkContext对象
conf = SparkConf().setAppName("test").setMaster("local[*]")
# 构建SparkContext执行环境入口对象
sc = SparkContext(conf=conf)
# 读取文件获取数据 构建RDD
rdd = sc.textFile("./data/input/words.txt")
SparkSession对象
#!/usr/bin/python
# -*- coding: utf-8 -*-
# SparkSession对象的导包, 对象是来自于 pyspark.sql包中
from pyspark.sql import SparkSession
if __name__ == '__main__':
# 构建SparkSession执行环境入口对象
spark = SparkSession.builder.\
appName("test").\
config("spark.sql.shuffle.partitions", "4").\
getOrCreate()
# 通过SparkSession对象 获取 SparkContext对象
sc = spark.sparkContext
# SparkSQL的HelloWorld
df = spark.read.csv("./data/input/words.txt", sep=',', header=False)
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
