hunter95671-CSDN博客

原创 Spark四种聚合算子的区别

reduceByKey: 相同 key 的第一个数据不进行任何计算，分区内和分区间计算规则相同foldByKey: 相同 key 的第一个数据和初始值进行分区内计算，分区内和分区间计算规则相同aggregateByKey：相同 key 的第一个数据和初始值进行分区内计算，分区内和分区间计算规则可以不相同combineByKey:当计算时，发现数据结构不满足要求时，可以让第一个数据转换结构。分区内和分区间计算规则不相同。案例：def main(args: Array[String]): Unit =

2021-09-07 11:29:15 402

原创 Spark RDD转换算子-Key-Value类型总结（2）

一、combineByKey最通用的对 key-value 型 rdd 进行聚集操作的聚集函数（aggregation function）。类似于aggregate()，combineByKey()允许用户返回值的类型与输入不一致。combineByKey：需要三个参数第一个参数表示：将相同Key的第一个数据进行结构转换，实现操作，如：v=>(v,1)第二个参数表示：分区内的计算规则第三个参数表示：分区间的计算规则例子：def main(args: Array[String]): Uni

2021-09-04 11:27:56 309

原创 Spark RDD转换算子-Key-Value类型总结（1）

一、partitionBy算子将数据按照指定 Partitioner 重新进行分区。Spark 默认的分区器是 HashPartitioner例子： def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContext(sparkConf) val rdd =

2021-08-31 12:10:35 600

原创 Spark RDD转换算子-双Value类型总结

一、intersection对源 RDD 和参数 RDD 求交集后返回一个新的 RDD交集intersection要求两个数据源数据类型保持一致例子：def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContext(sparkConf) val rdd1

2021-08-29 18:10:59 242

原创 Spark RDD转换算子-Value类型总结（2）

一、groupBy将数据根据指定的规则进行分组, 分区默认不变，但是数据会被打乱重新组合，我们将这样的操作称之为 shuffle。极限情况下，数据可能被分在同一个分区中，一个组的数据在一个分区中，但是并不是说一个分区中只有一个组。例子：将奇数偶数分为两组def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")

2021-08-26 21:51:36 174

原创 Spark RDD转换算子-Value类型总结（1）

一、map算子将处理的数据源的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。map的参数为一个函数。在map转换后，分区是不变的。例子：将每个分区的数据都乘以2def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContext(sparkConf)

2021-08-22 16:09:40 335

原创 Windows系统下启动spark出错问题解决方法

一、报错异常问题一：在执行spark-shell时报错，提示java路径问题问题二：执行spark/bin目录下的spark-shell.cmd闪退二、解决方法首先要保证spark路径上没有中文和空格。遇到问题一在执行spark-shell时报错，提示java路径问题时，先确认JAVA_HOME的路径中是否有中文与空格，将环境变量修改正确重试即可。遇到问题二在执行spark/bin目录下的spark-shell.cmd后闪退，可以尝试使用管理员身份运行启动成功！...

2021-08-19 11:28:09 3329 2

原创 Scala中的Option类型的作用与使用方法

一、Scala中的Option类型的作用Scala中的Option类型是为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯，scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。在没有值的时候，使用None，它是Option的一个子类；在有值的时候，就用Some来包含这个值，它也是Option的一个子类。二、Scala中Option类型的用法Scala Option(选项)类型用来表示一个值是可选的（有值或无值)。Option[T] 是一个类型为 T 的可选值

2021-08-18 13:15:00 3220 1

hunter95671的博客