python_day12_pyspark

最新推荐文章于 2024-10-18 00:00:00 发布

Yel10w_

最新推荐文章于 2024-10-18 00:00:00 发布

阅读量83

点赞数

分类专栏： python 文章标签： python javascript ajax

本文链接：https://blog.csdn.net/Yel10w_/article/details/131823914

版权

python 专栏收录该内容

39 篇文章 0 订阅

订阅专栏

本文展示了如何使用pyspark进行数据加载，包括通过`parallelize`方法创建RDD，如加载数字列表、元组、集合、字符串以及字典，以及使用`textFile`方法读取文件数据。每个步骤都包含示例代码，详细解释了如何初始化Spark环境并停止SparkContext。

摘要由CSDN通过智能技术生成

安装pyspark库

在这里插入图片描述

from pyspark import SparkConf, SparkContext

创建sparkconf类对象，链式调用

conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

基于sparkConf类对象创建SparkContext对象（入口对象）

sc = SparkContext(conf=conf)

打印pyspark版本号

print(sc.version)

停止sparkContext对象的运行

sc.stop()

在这里插入图片描述

通过pyspark代码加载数据，即数据输入

通过parallelize方法将python对象加载到spark内，成为RDD对象

# 导包
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 通过parallelize方法将python对象加载到spark内，成为RDD对象
rdd_1 = sc.parallelize([1, 2, 3, 4])
rdd_2 = sc.parallelize((1, 2, 3, 4))
rdd_3 = sc.parallelize({1, 2, 3, 4})
rdd_4 = sc.parallelize("123,ads")
rdd_5 = sc.parallelize({"key_1": "value_1", "key_2": "value_2"})
# 查看RDD内容，需使用collect()方法
print(rdd_1.collect())
print(rdd_2.collect())
print(rdd_3.collect())
print(rdd_4.collect())
print(rdd_5.collect())


# 停止spark
sc.stop()

在这里插入图片描述
用textFile方法，读取文件数据，加载到spark内，成为RDD对象

"""
通过pyspark代码加载数据，即数据输入
"""
# 导包
from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 用textFile方法，读取文件数据，加载到spark内，成为RDD对象
rdd = sc.textFile("D:/abc.txt")
print(rdd.collect())

# 停止spark
sc.stop()