大数据-玩转数据-Spark-RDD编程基础-RDD创建（python版）

最新推荐文章于 2024-05-16 19:16:31 发布

人猿宇宙

最新推荐文章于 2024-05-16 19:16:31 发布

阅读量1.5k

点赞数

分类专栏：大数据-玩转数据-Spark 文章标签： spark python big data

本文链接：https://blog.csdn.net/s_unbo/article/details/122349069

版权

25 篇文章 0 订阅

订阅专栏

本章为hadoop+spark+yarn 的pyspark交互式环境。

[root@hadoop1]# cd /home/hadoop/spark/bin
[root@hadoop1 bin]# pyspark

默认本地启动pyspark

一、RDD创建
Spark采用textFile()方法从文件系统中加载数据创建RDD
1、从文件系统中加载数据创建RDD
（1）、从本地文件加载

>>> lines = sc.textFile("file:///home/hadoop/temp/word.txt")
>>> lines.foreach(print)

显示
在这里插入图片描述
Spark提供的SparkContext对象，名称为sc
在pyspark启动时创建的，交互式环境可以直接引用，如独立编程环境，则需通过如下完成SparkContext对象。

from pyspark import SparkConf,SparkCountext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)

（2）、从分布式文件系统HDFS中加载数据

>>> lines = sc.textFile("hdfs://hadoop1:9000/tmp/word.txt")
>>> lines.foreach(print)

显示
在这里插入图片描述
2、通过并行集合创建RDD
可以通过SparkContext的parallelize方法从一个已经存在的集合上创建RDD

关注