![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎是类似于Hadoop MapReduce的通用并行框架。
雨落GJS
这个作者很懒,什么都没留下…
展开
-
spark-core rdd转换算子
spark-core rdd转换算子 一、单值类型 1、map(f) 映射转换 ➢ 函数签名 def map[U: ClassTag](f: T => U): RDD[U] ➢ 函数说明 将处理的数据逐条进行映射转换,这里的转换可以是类型的转换,也可以是值的转换。 val dataRDD: RDD[Int] = sparkContext.makeRDD(List(1,2,3,4)) val dataRDD1: RDD[Int] = dataRDD.map(num => {num * 2}) va原创 2021-09-20 20:05:40 · 158 阅读 · 0 评论 -
spark-core rdd行动算子
spark-core rdd行动算子 1、reduce() val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator") val sc = new SparkContext(sparkConf) val rdd = sc.makeRDD(List(1,2,3,4)) /** * ➢ 函数签名 def reduce(f: (T, T) => T): T ➢ 函数说明 聚集 RDD 中原创 2021-09-20 20:00:07 · 85 阅读 · 0 评论