Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python(1)

于 2024-05-10 17:21:54 发布
阅读量793 收藏 15
点赞数 28
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84182428/article/details/138674325
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

if name == ‘main’:

1 - 首先创建SparkContext上下文环境

conf = SparkConf().setAppName(“FirstSpark”).setMaster(“local[*]”)
sc = SparkContext(conf=conf)
sc.setLogLevel(“WARN”)#日志输出级别

2 - 从外部文件数据源读取数据

fileRDD = sc.textFile(“D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\words.txt”)

print(type(fileRDD))#<class ‘pyspark.rdd.RDD’>

all the data is loaded into the driver’s memory.

print(fileRDD.collect())

[‘hello you Spark Flink’, ‘hello me hello she Spark’]

3 - 执行flatmap执行扁平化操作

flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))

print(type(flat_mapRDD))

print(flat_mapRDD.collect())

#[‘hello’, ‘you’, ‘Spark’, ‘Flink’, ‘hello’, ‘me’, ‘hello’, ‘she’, ‘Spark’]

# 4 - 执行map转化操作，得到(word, 1)

rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))

print(type(rdd_mapRDD))#<class ‘pyspark.rdd.PipelinedRDD’>

print(rdd_mapRDD.collect())

[(‘hello’, 1), (‘you’, 1), (‘Spark’, 1), (‘Flink’, 1), (‘hello’, 1), (‘me’, 1), (‘hello’, 1), (‘she’, 1), (‘Spark’, 1)]

5 - reduceByKey将相同Key的Value数据累加操作

resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)

print(type(resultRDD))

print(resultRDD.collect())

[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]

6 - 将结果输出到文件系统或打印

resultRDD.saveAsTextFile(“D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd”)

7-停止SparkContext

sc.stop()#Shut down the SparkContext.


* * 总结：
* ![image-20210908151231799](https://img-blog.csdnimg.cn/img_convert/32dd06ec44b33439dc9b7c16882fab18.png)

TopK需求

需求：[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]

排序：[ (‘hello’, 3),(‘Spark’, 2),]

共识：Spark核心或灵魂是rdd，spark的所有操作都是基于rdd的操作

代码：

# -\*- coding: utf-8 -\*-
# Program function： 针对于value单词统计计数的排序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf, SparkContext

if __name__ == '\_\_main\_\_':
# 1 - 首先创建SparkContext上下文环境
conf = SparkConf().setAppName("FirstSpark").setMaster("local[\*]")
sc = SparkContext(conf=conf)
sc.setLogLevel("WARN")  # 日志输出级别
# 2 - 从外部文件数据源读取数据
fileRDD = sc.textFile("D:\BigData\PyWorkspace\Bigdata25-pyspark\_3.1.2\PySpark-SparkBase\_3.1.2\data\words.txt")
# print(type(fileRDD))#<class 'pyspark.rdd.RDD'>
# all the data is loaded into the driver's memory.
# print(fileRDD.collect())
# ['hello you Spark Flink', 'hello me hello she Spark']
# 3 - 执行flatmap执行扁平化操作
flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
# print(type(flat\_mapRDD))
# print(flat\_mapRDD.collect())
# ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
# # 4 - 执行map转化操作，得到(word, 1)
rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
# print(type(rdd\_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
# print(rdd\_mapRDD.collect())
# [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
# 5 - reduceByKey将相同Key的Value数据累加操作
resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
# print(type(resultRDD))
print(resultRDD.collect())
# [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
# 6 针对于value单词统计计数的排序
print("==============================sortBY=============================")
print(resultRDD.sortBy(lambda x: x[1], ascending=False).take(3))
# [('hello', 3), ('Spark', 2), ('Flink', 1)]
print(resultRDD.sortBy(lambda x: x[1], ascending=False).top(3, lambda x: x[1]))
print("==============================sortBykey=============================")
print(resultRDD.map(lambda x: (x[1], x[0])).collect())
# [(2, 'Spark'), (1, 'Flink'), (3, 'hello'), (1, 'you'), (1, 'me'), (1, 'she')]
print(resultRDD.map(lambda x: (x[1], x[0])).sortByKey(False).take(3))
#[(3, 'hello'), (2, 'Spark'), (1, 'Flink')]
# 7-停止SparkContext
sc.stop()  # Shut down the SparkContext.
  • sortBy
  • sortByKey操作

从HDFS读取数据

# -\*- coding: utf-8 -\*-
# Program function： 从HDFS读取文件

from pyspark import SparkConf, SparkContext
import time
if __name__ == '\_\_main\_\_':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FromHDFS").setMaster("local[\*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
 # ['hello you Spark Flink', 'hello me hello she Spark']
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())

 # 休息几分钟
 time.sleep(600)

 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.
  • image-20210908162236877

提交代码到集群执行

  • 关键：sys.argv[1],
  • 代码：
# -*- coding: utf-8 -*-
# Program function： 提交任务执行

import sys

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
   # 1 - 首先创建SparkContext上下文环境
   conf = SparkConf().setAppName("FromHDFS").setMaster("local[*]")
   sc = SparkContext(conf=conf)
   sc.setLogLevel("WARN")  # 日志输出级别
   # 2 - 从外部文件数据源读取数据
   # hdfs://node1:9820/pydata/input/hello.txt
   fileRDD = sc.textFile(sys.argv[1])
   # ['hello you Spark Flink', 'hello me hello she Spark']
   # 3 - 执行flatmap执行扁平化操作
   flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
   # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
   # # 4 - 执行map转化操作，得到(word, 1)
   rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
   # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
   # 5 - reduceByKey将相同Key的Value数据累加操作
   resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
   # print(type(resultRDD))
   resultRDD.saveAsTextFile(sys.argv[2])
   # 7-停止SparkContext
   sc.stop()  # Shut down the SparkContext.
  • 结果：
  • image-20210908163511002

[掌握-扩展阅读]远程PySpark环境配置

  • 需求：需要将PyCharm连接服务器，同步本地写的代码到服务器上，使用服务器上的Python解析器执行
  • 步骤：
  • 1-准备PyCharm的连接
  • image-20210908165610584
  • 2-需要了解服务器的地址，端口号，用户名，密码
  • image-20210908170032747
  • image-20210908170104336
  • image-20210908170248401
  • 设置自动的上传，如果不太好使，重启pycharm
  • image-20210908170359115
  • 3-pycharm读取的文件都需要上传到linux中，复制相对路径
  • image-20210908170618187
  • 4-执行代码在远程服务器上
  • image-20210908170937519
  • 5-执行代码
# -*- coding: utf-8 -*-
# Program function： Spark的第一个程序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("/export/data/pyspark_workspace/PySpark-SparkBase_3.1.2/data/words.txt")
 # fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # print(type(flat_mapRDD))
 # print(flat_mapRDD.collect())
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
 # print(rdd_mapRDD.collect())
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())
 # [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
 # 6 - 将结果输出到文件系统或打印
 # resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.
  • 切记忘记上传python的文件，直接执行
  • 注意1：自动上传设置
  • image-20210908172418251
  • 注意2：增加如何使用standalone和HA的方式提交代码执行
  • 但是需要注意，尽可能使用hdfs的文件，不要使用单机版本的文件，因为standalone是集群模式
# -*- coding: utf-8 -*-

# Program function： Spark的第一个程序

# 1-思考：sparkconf和sparkcontext从哪里导保

# 2-如何理解算子？Spark中算子有2种，

# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，

# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子

>from pyspark import SparkConf, SparkContext
>
>if __name__ == '__main__':
>
># 1 - 首先创建SparkContext上下文环境
>
>conf = SparkConf().setAppName("FirstSpark").setMaster("spark://node1:7077,node2:7077")
>sc = SparkContext(conf=conf)
>sc.setLogLevel("WARN")  # 日志输出级别
>
># 2 - 从外部文件数据源读取数据
>
>fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
>
># fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
>
># 3 - 执行flatmap执行扁平化操作
>
>flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

片转存中…(img-QNWp9IvX-1715332883057)]
[外链图片转存中…(img-Zb9ER7G2-1715332883057)]
[外链图片转存中…(img-n8h5dy1k-1715332883057)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84182428
关注
  • 28
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PySpark（一）Spark原理介绍、PySpark初体验及原理
qq_54517101的博客
01-31 1353
Apache Spark是用于处理的统一（unified）分析引擎，其特点就是对任意类型的数据进行自定义计算。
spark(scala,python)的基本概念，调优，常见错误问题分析
qq_16446137的博客
02-26 291
spark-scala的基本概念，调优，常见错误问题分析 spark(scala,python)的基本概念，调优，常见错误问题分析 主要介绍spark的基本概念及对应数据在集群（yarn）上的配置调优，以及在运行中的常见问题定位，方便快速学习spark基础知识，上手开发 基本概念 sparkSession和sparkContext区别:sparkContext一般也叫sc,spakrSession习惯简称为spark变量。其中spark是包含sc的，sc是spark历史版本2.0之前常用的创建和操作RDD
Python3：Python+spark编程实战 总结
热门推荐
proplume的博客
04-08 5万+
不宜妄自菲薄，引喻失义。 0、前提 0.1 配置 可参考： windows上配置 Python+spark开发环境 0.2 有关spark 说明： spark 不兼容 Python3.6 安装注意版本 可下载： anaconda4.2 一、实例分析 1.1 数据 student.txt 1.2 代码 #studentExample 例子 ...
Python学习之PySpark案例实战
阿澈不吃蒜的博客
05-25 1万+
Spark是什么Apache Spark是用于。
Pyspark 基础知识
不忘初欣丶的博客
04-05 3359
Pyspark基础知识，包括Pyspark基本介绍，和Spark框架对比，WordCount执行流程，Pyspark执行原理等
笔记：python spark机器学习与hadoop大数据
qq_55643803的博客
01-06 1565
机器学习技术不断进步， 应用相当广泛， 例如推荐引擎、 定向广告、需求预测、垃圾邮件过滤、 医学诊断、 自然语言处理、 搜索引擎、 欺诈检测、 证券分析、 视觉识别、 语音识别、 手写识别等。ApacheSpark是开放源码的集群运算框架，由加州大学伯克利分校的AMPLab开发。Spark是一个弹性的运算框架，适合进行Spark Streaming数据流处理、Spark SQL互动分析、MLlib机器学习等应用，因此Spark可作为一个用途广泛的大数据运算平台。Spark 允许用户将数据。
Python大数据之Spark编程基础与提升视频课程课件PPT模板.pptx
06-12
**Python大数据之Spark编程基础与提升** Spark是大数据领域中的一款高效、通用并行计算框架，尤其在处理大规模数据时，其内存计算特性显著提升了计算效率。本课程将深入讲解如何利用Python进行Spark编程，旨在提升...
大数据大代码_python大数据_python_python_
09-30
在大数据处理领域，Python语言因其简洁的语法和丰富的库支持，已经成为数据分析和挖掘的重要工具。本教程主要聚焦于如何利用Python进行大数据分析，适合初学者入门。我们将通过一个名为"大数据大作业.ipynb"的...
Spark快速大数据分析.zip_Spark快速大数据分析_spark python_spark大数据_spark实时分析_数据
07-14
利用Python和Spark进行海量数据的实时分析，解决商业方案
Python库 | spark_datax_schema_tools-0.0.31.tar.gz
03-10
标签包括"python"、"spark"、"开发语言"、"大数据"、"big data"，这些关键词揭示了该库的主要功能和使用场景。Python是当前非常流行的数据科学和大数据处理语言，Spark则是一个高效的大数据处理框架，它提供了一种...
用Python操作大数据, MapReduce, Hadoop和Spark.rar_feeteux_hadoop_hadoop
07-13
用python操作大数据，使用业余时间翻译完成的中文版资料。
Python大数据之PySpark
Java/Python大数据成长之路
10-21 1149
在Driver端，Python通过Py4j来调用Java方法，将用户使用Python写的程序映射到JVM中，比如，用户在PySpark中实例化一个Python的SparkContext对象，最终会在JVM中实例化Scala的SparkContext对象。为了不影响现有Spark的运行架构，Spark在外围包装了一层Python的API，借助Py4j实现Python和Java的交互，即通过Py4j将PySpark代码“解析”到JVM中去运行。根据Spark官网，Spark支持Python语言编程。
Python学习路线 - Python高阶技巧 - PySpark案例实战
最新发布
mry6的博客
02-05 2463
定义：Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎。简单来说，Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃致EB级别的海量数据。
python—spark本地安装及环境变量配置
Sun_shine99的博客
04-20 3952
Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）
PySpark实战（三）——活用PySpark（Python基础语法复习 & 建立第一个Spark RDD & RDD的操作 [ 见PySpark_operation.ipynb文件 ]）
Stack It Up
03-20 1102
RDD操作，Python复习
学习Spark需要掌握的全部基础理论知识（穿插部分代码）——从Python角度看Spark
qq_43604989的博客
10-01 1515
Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API，这里我选择使用Scala 环境学习这部分内容
星火v3+langchain 看这里
qq_36077836的博客
01-26 352
【代码】讯飞星火v3+langchain 看这里，我也是在别人基础上改的，贡献给大家。
python调用sparkmlib_python – 结合Spark Streaming MLlib
weixin_39803022的博客
12-16 178
我试图使用随机森林模型来预测一组示例,但似乎我不能使用该模型对示例进行分类.这是pyspark中使用的代码：sc = SparkContext(appName="App")model = RandomForest.trainClassifier(trainingData, numClasses=2, categoricalFeaturesInfo={}, impurity='gini', numT...
Python大数据之Spark编程基础与提升视频课程
Python大数据之Spark编程基础与提升视频课程课件PPT模板.pptx是一份15页的PPT文档，分为6个章节和一个附录。第一章到第四章分别是spark入门、spark数据预处理与分析、spark机器学习之特征提取和spark机器学习之核心...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值