Python大数据之PySpark(三)使用Python语言开发Spark程序代码_windows spark python

于 2024-05-14 18:30:42 发布
阅读量819 收藏 24
点赞数 11
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84592266/article/details/138865258
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

sc = SparkContext(conf=conf)
sc.setLogLevel(“WARN”) # 日志输出级别

2 - 从外部文件数据源读取数据

fileRDD = sc.textFile(“D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\words.txt”)

print(type(fileRDD))#<class ‘pyspark.rdd.RDD’>

all the data is loaded into the driver’s memory.

print(fileRDD.collect())

[‘hello you Spark Flink’, ‘hello me hello she Spark’]

3 - 执行flatmap执行扁平化操作

flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))

print(type(flat_mapRDD))

print(flat_mapRDD.collect())

[‘hello’, ‘you’, ‘Spark’, ‘Flink’, ‘hello’, ‘me’, ‘hello’, ‘she’, ‘Spark’]

# 4 - 执行map转化操作，得到(word, 1)

rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))

print(type(rdd_mapRDD))#<class ‘pyspark.rdd.PipelinedRDD’>

print(rdd_mapRDD.collect())

[(‘hello’, 1), (‘you’, 1), (‘Spark’, 1), (‘Flink’, 1), (‘hello’, 1), (‘me’, 1), (‘hello’, 1), (‘she’, 1), (‘Spark’, 1)]

5 - reduceByKey将相同Key的Value数据累加操作

resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)

print(type(resultRDD))

print(resultRDD.collect())

[(‘Spark’, 2), (‘Flink’, 1), (‘hello’, 3), (‘you’, 1), (‘me’, 1), (‘she’, 1)]

6 针对于value单词统计计数的排序

print(“==sortBY=”)
print(resultRDD.sortBy(lambda x: x[1], ascending=False).take(3))

[(‘hello’, 3), (‘Spark’, 2), (‘Flink’, 1)]

print(resultRDD.sortBy(lambda x: x[1], ascending=False).top(3, lambda x: x[1]))
print(“==sortBykey=”)
print(resultRDD.map(lambda x: (x[1], x[0])).collect())

[(2, ‘Spark’), (1, ‘Flink’), (3, ‘hello’), (1, ‘you’), (1, ‘me’), (1, ‘she’)]

print(resultRDD.map(lambda x: (x[1], x[0])).sortByKey(False).take(3))
#[(3, ‘hello’), (2, ‘Spark’), (1, ‘Flink’)]

7-停止SparkContext

sc.stop() # Shut down the SparkContext.


* sortBy
* sortByKey操作

从HDFS读取数据

# -\*- coding: utf-8 -\*-
# Program function： 从HDFS读取文件

from pyspark import SparkConf, SparkContext
import time
if __name__ == '\_\_main\_\_':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FromHDFS").setMaster("local[\*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
 # ['hello you Spark Flink', 'hello me hello she Spark']
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())

 # 休息几分钟
 time.sleep(600)

 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.
  • image-20210908162236877

提交代码到集群执行

  • 关键：sys.argv[1],
  • 代码：
# -*- coding: utf-8 -*-
# Program function： 提交任务执行

import sys

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
   # 1 - 首先创建SparkContext上下文环境
   conf = SparkConf().setAppName("FromHDFS").setMaster("local[*]")
   sc = SparkContext(conf=conf)
   sc.setLogLevel("WARN")  # 日志输出级别
   # 2 - 从外部文件数据源读取数据
   # hdfs://node1:9820/pydata/input/hello.txt
   fileRDD = sc.textFile(sys.argv[1])
   # ['hello you Spark Flink', 'hello me hello she Spark']
   # 3 - 执行flatmap执行扁平化操作
   flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
   # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
   # # 4 - 执行map转化操作，得到(word, 1)
   rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
   # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
   # 5 - reduceByKey将相同Key的Value数据累加操作
   resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
   # print(type(resultRDD))
   resultRDD.saveAsTextFile(sys.argv[2])
   # 7-停止SparkContext
   sc.stop()  # Shut down the SparkContext.
  • 结果：
  • image-20210908163511002

[掌握-扩展阅读]远程PySpark环境配置

  • 需求：需要将PyCharm连接服务器，同步本地写的代码到服务器上，使用服务器上的Python解析器执行
  • 步骤：
  • 1-准备PyCharm的连接
  • image-20210908165610584
  • 2-需要了解服务器的地址，端口号，用户名，密码
  • image-20210908170032747
  • image-20210908170104336
  • image-20210908170248401
  • 设置自动的上传，如果不太好使，重启pycharm
  • image-20210908170359115
  • 3-pycharm读取的文件都需要上传到linux中，复制相对路径
  • image-20210908170618187
  • 4-执行代码在远程服务器上
  • image-20210908170937519
  • 5-执行代码
# -*- coding: utf-8 -*-
# Program function： Spark的第一个程序
# 1-思考：sparkconf和sparkcontext从哪里导保
# 2-如何理解算子？Spark中算子有2种，
# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，
# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子
from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
 # 1 - 首先创建SparkContext上下文环境
 conf = SparkConf().setAppName("FirstSpark").setMaster("local[*]")
 sc = SparkContext(conf=conf)
 sc.setLogLevel("WARN")  # 日志输出级别
 # 2 - 从外部文件数据源读取数据
 fileRDD = sc.textFile("/export/data/pyspark_workspace/PySpark-SparkBase_3.1.2/data/words.txt")
 # fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
 # 3 - 执行flatmap执行扁平化操作
 flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
 # print(type(flat_mapRDD))
 # print(flat_mapRDD.collect())
 # ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
 # # 4 - 执行map转化操作，得到(word, 1)
 rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
 # print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
 # print(rdd_mapRDD.collect())
 # [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
 # 5 - reduceByKey将相同Key的Value数据累加操作
 resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
 # print(type(resultRDD))
 print(resultRDD.collect())
 # [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
 # 6 - 将结果输出到文件系统或打印
 # resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
 # 7-停止SparkContext
 sc.stop()  # Shut down the SparkContext.
  • 切记忘记上传python的文件，直接执行
  • 注意1：自动上传设置
  • image-20210908172418251
  • 注意2：增加如何使用standalone和HA的方式提交代码执行
  • 但是需要注意，尽可能使用hdfs的文件，不要使用单机版本的文件，因为standalone是集群模式
# -*- coding: utf-8 -*-

# Program function： Spark的第一个程序

# 1-思考：sparkconf和sparkcontext从哪里导保

# 2-如何理解算子？Spark中算子有2种，

# 一种称之为Transformation算子(flatMapRDD-mapRDD-reduceBykeyRDD)，

# 一种称之为Action算子（输出到控制台，或文件系统或hdfs），比如collect或saveAsTextFile都是Action算子

>from pyspark import SparkConf, SparkContext
>
>if __name__ == '__main__':
>
># 1 - 首先创建SparkContext上下文环境
>
>conf = SparkConf().setAppName("FirstSpark").setMaster("spark://node1:7077,node2:7077")
>sc = SparkContext(conf=conf)
>sc.setLogLevel("WARN")  # 日志输出级别
>
># 2 - 从外部文件数据源读取数据
>
>fileRDD = sc.textFile("hdfs://node1:9820/pydata/input/hello.txt")
>
># fileRDD = sc.parallelize(["hello you", "hello me", "hello spark"])
>
># 3 - 执行flatmap执行扁平化操作
>
>flat_mapRDD = fileRDD.flatMap(lambda words: words.split(" "))
>
># print(type(flat_mapRDD))
>
># print(flat_mapRDD.collect())
>
># ['hello', 'you', 'Spark', 'Flink', 'hello', 'me', 'hello', 'she', 'Spark']
>
># # 4 - 执行map转化操作，得到(word, 1)
>
>rdd_mapRDD = flat_mapRDD.map(lambda word: (word, 1))
>
># print(type(rdd_mapRDD))#<class 'pyspark.rdd.PipelinedRDD'>
>
># print(rdd_mapRDD.collect())
>
># [('hello', 1), ('you', 1), ('Spark', 1), ('Flink', 1), ('hello', 1), ('me', 1), ('hello', 1), ('she', 1), ('Spark', 1)]
>
># 5 - reduceByKey将相同Key的Value数据累加操作
>
>resultRDD = rdd_mapRDD.reduceByKey(lambda x, y: x + y)
>
># print(type(resultRDD))
>
>print(resultRDD.collect())
>
># [('Spark', 2), ('Flink', 1), ('hello', 3), ('you', 1), ('me', 1), ('she', 1)]
>
># 6 - 将结果输出到文件系统或打印
>
># resultRDD.saveAsTextFile("D:\BigData\PyWorkspace\Bigdata25-pyspark_3.1.2\PySpark-SparkBase_3.1.2\data\output\wordsAdd")
>
># 7-停止SparkContext
>
>sc.stop()  # Shut down the SparkContext.

总结

  • 函数式编程

#Python中的函数式编程
#1-map(func, *iterables) --> map object
def fun(x):
return x*x
#x=[1,2,3,4,5] y=map(fun,[1,2,3,4,5]) #[1, 4, 9, 16, 25]
print(list(map(fun, [1, 2, 3, 4, 5])))
#2-lambda 匿名函数 java: x=>x*x 表达式 Scala:x->x*x
g=lambda x:x*x
print(g(10))
print(list(map(lambda x:x*x, [1, 2, 3, 4, 5])))
def add(x,y):
return x+y

print(list(map(add, range(5), range(5, 10))))
print(list(map(lambda x,y:x+y,range(5),range(5,10))))
#3- [add(x,y) for x,y in zip(range(5),range(5,10))]

print(list(zip([1, 2, 3], [4, 5, 6])))#[1,4],[2,5]

print(list(zip([1, 2, 3], [4, 5, 6,7])))#[1,4],[2,5]

print(list(zip([1, 2, 3,6], [4, 5, 6])))#[1,4],[2,5]

语法 lambda表达式语言：【lambda 变量：表达式】

列表表达式 [表达式 for 变量 in 可迭代的序列中 if 条件]

print([add(x, y) for x, y in zip(range(5), range(5))])
#[0, 2, 4, 6, 8]
#3-reduce
from functools import reduce

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

om functools import reduce

[外链图片转存中…(img-g493qyNX-1715682619628)]
[外链图片转存中…(img-CdCEHjjk-1715682619629)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84592266
关注
  • 11
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2023大数据面试真题(持续更新)
我的祖传代码
07-04 3万+
5.有两个数据源，一个记录的是广告投放给用户的日志，一个记录用户访问日志，另外还有一个固定的用户基础表记录用户基本信息（比如学历，年龄等等）。9.线上业务每天产生的业务日志（压缩后>=3G），每天需要加载到hive的log表中，将每天产生的业务日志在压缩之后load到hive的log表时，最好使用的压缩算法是哪个,并说明其原因。为什么不用 Hive 默认的分隔符，默认的分隔符是什么？41.有一千万条短信，有重复，以文本文件的形式保存，一行一条数据，请用五分钟时间，找出重复出现最多的前10条。
Python大数据之Spark编程基础与提升视频课程课件PPT模板.pptx
06-12
**Python大数据之Spark编程基础与提升** Spark是大数据领域中的一款高效、通用并行计算框架，尤其在处理大规模数据时，其内存计算特性显著提升了计算效率。本课程将深入讲解如何利用Python进行Spark编程，旨在提升...
IDEA项目打jar包
半度纳的博客
09-26 7701
jar包主要是对class文件进行打包，而java编译生成的class文件是平台无关的，这就意味着jar包是跨平台的，所以不必关心涉及具体平台的问题。
2023大数据面试题+附答案
大数据-攻城狮
04-26 7493
2023大数据面试题+附答案。
Python大数据之PySpark(二)PySpark安装_支持 依赖项 ‘python pyspark‘ 的插件 spark 当前尚未安装。
最新发布
2401_84182507的博客
05-10 708
Python作为Spark的主流开发语言PySpark安装1-如何安装PySpark？Linux的Anaconda安装2-如何安装anconda？3-Anaconda有很多软件4-Anaconda中可以利用conda构建虚拟环境5-如何查看conda创建的虚拟环境？PySpark安装查看启动结果简单的代码演示在虚拟环境下的补充webuiJupyter环境设置监控页面运行圆周率或者def pi(times): # times的意思是落入到正方形的次数x_time = 0。
大数据面试问题总结
MDZ_1122333322的博客
07-31 1280
Shuffle reduce task 数量小于spark.shuffle .sort.bypassMerge Threadshold参数的值小于200，不开启，溢写磁盘不需要排序，小于等于的时候是开启的。面试题58：大促场景下实时链路数据积压，rps为100w，导致数据大屏不动了，上线前该如何保障，临时处理该如何操作，兜底方案该如何做？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？面试题73：如何解决数据建模中的一些挑战，例如复杂的业务规则、数据粒度的把控等？
常见大数据面试题汇总带答案
Direction_Wind的博客
07-20 1万+
大数据常见面试题
大数据大代码_python大数据_python_python_
09-30
在大数据处理领域，Python语言因其简洁的语法和丰富的库支持，已经成为数据分析和挖掘的重要工具。本教程主要聚焦于如何利用Python进行大数据分析，适合初学者入门。我们将通过一个名为"大数据大作业.ipynb"的...
Python库 | spark_datax_schema_tools-0.0.31.tar.gz
03-10
标签包括"python"、"spark"、"开发语言"、"大数据"、"big data"，这些关键词揭示了该库的主要功能和使用场景。Python是当前非常流行的数据科学和大数据处理语言，Spark则是一个高效的大数据处理框架，它提供了一种...
Spark快速大数据分析.zip_Spark快速大数据分析_spark python_spark大数据_spark实时分析_数据
07-14
利用Python和Spark进行海量数据的实时分析，解决商业方案
用Python操作大数据, MapReduce, Hadoop和Spark.rar_feeteux_hadoop_hadoop
07-13
用python操作大数据，使用业余时间翻译完成的中文版资料。
image processing toolbox
10-19
image processing toolbox, a very useful toolbox, especially feature extraction such as corner_pyramid, entropy_pyramid, orientation_pyramid.
MATLAB Image Processing Toolbox官方教程
01-28
MATLAB Image Processing Toolbox官方教程，包含用户手册和参考手册
大数据面试题
weixin_52189442的博客
09-05 1212
一、自我介绍 各位面试官好，我是xxx，我来面试咱们公司的大数据开发岗位，上一家公司是北京转转科技有限责任公司，在其数据部门担任大数据开发工程师，主要负责项目架构的总体设计、技术调研、需求沟通、集群搭建、平台集群监控、代码开发以及平台的相关调优等。 二、为什么要离职 工作没有学习发展的空间，自己想在面试工作的相关产业中多加学习，或是前一份工作与自己的生涯规划不合等等，回答的答案最好是积极正面的。或者说，我希望能获得一份更好的工作，如果机会来临，我会抓住。 三、java模块面试题 ...
idea把项目打成jar包步骤详解
cainiaobulan的博客
09-14 1327
idea把项目打成jar包步骤说明
IDEA打jar包（超超超详细）_idea项目打个架包，2024年最新深度剖析原理
2401_84185182的博客
04-17 802
老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！9、创建，完成后会在你刚才设置的jar包的路径下生成一个out目录。（可不修改路径，默认在你工程下）
idea中java maven程序打JAR包的方式
我都博客
01-01 4531
idea中java maven程序打jar包的方式有插件形式和IDEA自带工具。本文仅介绍IDEA自带工具打包jar包。
Matlab数字图像处理——图像处理工具箱Image Processing Toolbox
热门推荐
土豆大叔的博客
03-18 1万+
Image Processing Toolbox 图像处理工具箱包含的功能： 图像的读取和保存 图像的显示 创建GUI 图像的几何变换 图像滤波器设计及线性滤波 形态学图像处理 图像域变换 图像增强 图像分析 图像合成 图像配准 图像分割 图像ROI处理 图像恢复 彩色图像处理 邻域和块处理 主要课程来源：blibli ...
【HDFS实战】HDFS上的数据均衡
coding and writing
06-28 2986
HDFS上的数据均衡

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值