![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 95
Cisyamr
这个作者很懒,什么都没留下…
展开
-
大数据学习笔记 3.3 掌握RDD分区
在有些情况下,使用Spark自带的分区器满足不了特定的需求。例如,某学生有以下3科三个月的月考成绩数据。科目成绩chinese98math88english96chinese89math96english67chinese88math78english89现需要将每一科成绩单独分配到一个分区中,然后将3科成绩输出到HDFS的指定目录(每个分区对应一个结果文件),此时就需要对数据进行自定义分区。原创 2023-05-26 00:00:00 · 461 阅读 · 0 评论 -
大数据学习笔记 3.2 RDD算子学习
整数(Integer):奇数(odd number)+ 偶数(even number)因为RDD的元素为分布式的,数据可能分布在不同的节点上。基于列表创建RDD,然后利用过滤算子得到偶数构成的新RDD。Spark会将RDD中的每个元素传入该函数的参数中。方法二、采用下划线表达式作为参数传给map()算子。上述代码中,向算子map()传入了一个函数。为函数的参数名称,也可以使用其他字符,例如。若需要查看计算结果,则可使用行动算子。方法一、将匿名函数传给过滤算子。其实,利用神奇占位符。进行计算,并将结果以。原创 2023-05-25 10:46:58 · 419 阅读 · 0 评论 -
大数据学习笔记 3.1 掌握RDD的创建
查看RDD中的内容,保存到常量。注意:访问本地文件,必须加。前缀,否则系统会认为是访问。原创 2023-05-18 09:12:23 · 546 阅读 · 0 评论 -
大数据学习笔记 2.2、IDEA开发词频统计项目
单词计数是学习分布式计算的入门程序,有很多种实现方式,例如MapReduce;使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJ IDEA中新建Maven管理的Spark项目,在该项目中使用Scala语言编写Spark的WordCount程序,可以本地运行Spark项目查看结果,也可以将项目打包提交到Spark集群(Standalone模式)中运行。原创 2023-05-15 08:58:02 · 401 阅读 · 0 评论