![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark学习
文章平均质量分 81
LeaderQiu
iOS终级攻城狮
展开
-
Mac平台下spark单机环境 安装
单机环境安装1.安装环境 系统:Linux系统平台(Windows上需要安装Cygwin,以模拟Linux环境) 预装依赖:JDK(Linux系统一般会自带安装好的openjdk,本文跳过JDK的安装)、Scala 2.安装Scala Scala官网地址:http://www.sc转载 2017-03-22 15:42:13 · 2047 阅读 · 0 评论 -
Spark学习之RDD常用操作
一些操作对所有类型的RDD都可以使用,而另一些操作只能在特殊的RDD类型使用。例如只有对于元素都是数字的RDD才能计算平均值。在下面的操作都是在RDD上通用的操作。 Transformations map() Map函数和MapReduce中的map意义相同,即返回一个新RDD,其元素是输入RDD中元素,按照某个规则得到的新元素。输入输出的RDD中包含的元素是一一对应的。 例如转载 2017-03-26 11:33:39 · 889 阅读 · 0 评论