Spark大数据处理学习笔记 2.4

最新推荐文章于 2024-06-14 11:00:02 发布
最新推荐文章于 2024-06-14 11:00:02 发布
阅读量124 收藏
点赞数
文章标签： spark 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1269936432/article/details/130862475
版权

一、词频统计准备工作

  • 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
  • 在IntelliJ IDEA中新建Maven管理的Spark项目，在该项目中使用Scala语言编写Spark的WordCount程序，可以本地运行Spark项目查看结果，也可以将项目打包提交到Spark集群（Standalone模式）中运行。

（一）版本选择问题

  • 前面创建了Spark集群（Standalone模式），采用的是Spark3.3.2版本

在这里插入图片描述

  • Spark3.3.2用的Scala库是2.13，但是Spark-Shell里使用的Scala版本是2.12.15

  • 为了Spark项目打成jar包能够提交到这个Spark集群运行，本地就要安装Scala2.12.15

  •  由于Spark项目要求Spark内核版本与Scala库版本（主版本.次版本）要保持一致，否则本地都无法运行项目。Spark3.2.0开始，要求Scala库版本就更新到了2.13，只有Spark3.1.3使用Scala库版本依然是2.12，因此Spark项目选择使用Spark3.1.3。 

 

  •  Spark项目如果基于JDK11，本地运行没有问题，但是打成Jar包提交到集群运行会报错

 在这里插入图片描述

  •  卸载之前在Windows上安装的Scala2.13.10

 在这里插入图片描述

 （二）安装Scala2.12.15

 

 下载到本地

 安装在默认位置

最低0.47元/天 解锁文章
挽风。universe
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark大数据处理讲课笔记3.2 掌握RDD算子
howard2005的专栏
04-10 1089
1. 了解RDD的处理过程； 2. 掌握转换算子的使用； 3. 掌握行动算子的使用
Spark大数据处理学习笔记（3.2.1）掌握RDD算子
Python_XTyyds的博客
06-14 1285
例如，rdd1的元素以(k,v)表示，rdd2的元素以(k, w)表示，进行左外连接时将以rdd1为基准，rdd2中的k与rdd1的k相同的元素将连接到一起，生成的结果形式为(k, (v, Some(w))。例如，rdd1的元素以(k, v)表示，rdd2的元素以(k, w)表示，执行rdd1.cogroup(rdd2)生成的结果形式为(k, (Iterable, Iterable))。val scores = List((“张钦林”, 78), (“张钦林”, 90), (“张钦林”, 76),
Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目
weixin_63561044的博客
06-15 80
由于Spark项目要求Spark内核版本与Scala库版本（主版本.次版本）要保持一致，否则本地都无法运行项目。Spark3.2.0开始，要求Scala库版本就更新到了2.13，只有Spark3.1.3使用Scala库版本依然是2.12，因此Spark项目选择使用Spark3.1.3。由于没有将依赖包添加到生成的jar包，所以生成的jar包很小，只有5KB。如果将全部依赖包都打进jar包，那么生成的jar包就会有几十兆。，本地运行没有问题，但是打成Jar包提交到集群运行会报错。
大数据处理学习笔记2.4
m0_74001992的博客
06-09 78
一、词频统计准备工作单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。（一）创建本地单词文件在D:\spark_work\wordcount\input里创建单词文件words.txt。
Spark大数据处理学习笔记（2.4）IDEA开发词频统计项目
Python_XTyyds的博客
06-14 1436
从Scala官网下载Scala2.12.15 - https://www.scala-lang.org/download/2.12.15.html。val wc = sc.textFile(inputPath) // 读取文件，得到RDD。创建/home/test.txt文件，上传到HDFS指定目录。, 1)) // 针对每个单词得到二元组(word, 1).split(" ")) // 扁平化映射，得到单词数组。.split(" ")) // 扁平化映射，得到单词数组。
Spark大数据处理学习笔记3.2 掌握RDD算子
qq_62847100的博客
05-04 690
上面这个映射写成函数： f ( x ) = 2 x , x ∈ R f(x)=2x,x\in \Bbb R f(x)=2x,x∈R。一个数组中存放了三个元组，将该数组转为RDD集合，然后对该RDD按照每个元素中的第二个值进行降序排列。，不是一元函数，而是二元函数，系统立马就蒙逼了，不晓得该怎么取两个参数来进行乘法运算。中的x代表rdd1中的每个元素。因为RDD的元素为分布式的，数据可能分布在不同的节点上。Spark会将RDD中的每个元素传入该函数的参数中。上述代码中，向算子map()传入了一个函数。
Spark大数据分析与实战笔记（第二章 Spark基础-04）
热门推荐
想你依然心痛的博客
01-05 2万+
这句来自现代作家安妮宝贝的经典句子，它表达了对他人的赞美与崇拜。按回车键提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前应用执行完毕，返回控制台查看输出信息，出现了“无论是初学者还是有一定经验的开发者，通过深入学习Spark的运行架构与原理，都能够更好地利用Spark处理大数据任务，并开发出高效、可扩展的Spark应用程序。
Spark大数据分析与实战笔记（第二章 Spark基础-04）_spark大数据分析与实战4-2源码
2401_84281648的博客
04-28 634
在体验第一个Spark程序之前，确保已经安装好了Spark，并且配置环境变量和启动Spark集群。接着，创建一个新的Spark应用程序，命名为SparkPi，并在该应用程序中编写代码计算Pi的近似值。## 学习路线：这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：!
【大数据处理学习笔记】2.4 IDEA开发词频统计项目
weixin_63745352的博客
06-16 284
执行命令：spark-submit --master spark://master:7077 --deploy-mode cluster --class net.huawei.rdd.WordCount --driver-memory 512m --executor-memory 1g --executor-cores 2 hdfs://master:9000/park/SparkRDDWordCount.jar。hdfs://master:9000/wc/output：统计结果的输出路径。
Spark大数据处理学习笔记
09-18
"Spark大数据处理学习笔记" 本篇笔记主要涵盖了 Spark 大数据处理的学习笔记，包括了 Spark Standalone 集群的搭建、RDD 的创建和算子、RDD 的分区、RDD 典型案例、IDEA 开发词频统计项目等方面的知识点。 一、...
spark+hadoop大数据处理学习笔记
06-07
spark+hadoop大数据处理学习笔记
八股文系列Spark
qq_42456324的博客
06-11 840
两者并没有大的差别。都是将 mapper（Spark 里是 ShuffleMapTask）的输出进行 partition，不同的 partition 送到不同的 reducer（Spark 里 reducer 可能是下一个 stage 里的 ShuffleMapTask，也可能是 ResultTask）。Reducer 以内存作缓冲区，边 shuffle 边 aggregate 数据，等到数据 aggregate 好以后进行 reduce（Spark 里可能是后续的一系列操作）。
Spark RDD算子
weixin_74292291的博客
06-10 647
Spark RDD算子 转换算子 行动算子 Spark RDD 并行度控制
6spark期末复习
a_black03的博客
06-11 183
val f2=(变量名1:数据类型,变量名2：数据类型…集Set、映射Map都扩展自Iterable特质。在Scala的类中，与类名相同的对象叫做伴生对象。元组可以装着多个不同类型的值，不可以更改，定长。类和伴生对象之间可以相互访问私有的方法和属性。Set是用于去重操作Map是用于存储KV对。
介绍spark中的模型选择与验证技术
最新发布
weixin_41046245的博客
06-14 192
参数网格构建器帮助定义所有可能的参数组合，而交叉验证和训练验证分割方法提供了评估模型性能的机制。通过这些方法，学生可以掌握从数据预处理、模型训练到参数调优的完整流程，提高模型的性能和可靠性。TrainValidationSplitModel 保存了在训练验证分割过程中表现最好的模型及其对应的参数组合，便于后续直接使用该最佳模型进行预测或变换。CrossValidatorModel 保存了在交叉验证过程中表现最好的模型及其对应的参数组合，便于后续直接使用该最佳模型进行预测或变换。
spark复习
weixin_69139397的博客
06-08 1207
5.​构建一个机器学习流水线，首先要定义流水线中各个PipelineStage，称为工作流阶段，包括转换器和评估器，之后就可以按照具体的处理逻辑，有序组织PipelineStage并创建一个流水线。6.​RDD编程中需要生成一个SparkContext对象，在Spark SQL编程中需要生成一个SparkSession对象，在Spark Streaming中需要生成一个StreamingContext对象。3.​RDD，DAG，Executor，应用，阶段的概念。
如何学习Golang语言!
FengyangCoder的博客
06-09 390
起源与设计哲学：Go语言由Robert Griesemer、Rob Pike和Ken Thompson三位Google工程师设计，旨在解决现代编程中的一些常见问题，如编译速度、运行效率和并发编程。主要特点：Go语言的语法简单、编译速度快、运行效率高，支持静态类型和内存安全，具有垃圾回收功能，并且原生支持并发编程。
扩展学习|风险管理的文献综述汇总（持续更新向）
weixin_63253486的博客
06-10 773
本片博客主要介绍风险管理领域本人所看到的一些有意思的文章，并就风险管理领域的相关内容进行一个分享。
spark大数据处理
08-17
Spark提供了丰富的API和工具，包括Spark Core、Spark SQL、Spark Streaming、Spark MLlib和Spark GraphX等，可以用于数据处理、数据挖掘、机器学习以及图计算等不同领域的大数据处理任务。通过并行计算和内存计算等...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值