- 博客(2)
- 资源 (1)
- 收藏
- 关注
转载 Spark转换(transform)与动作(action)一览
【说的很特么抽象,能看得懂算你厉害啊,所以代码详解:一个Spark Demo与代码详解以下func,大部分时候为了让逻辑更清楚,推荐使用匿名函数!(lambda)】【ps:java和python的api是一样的,名字和参数没有变化】转换含义map(func)每一个输入元素经过func函数转换后输出一个元素filter(func)返回经过 func 函数计算后返回值为 true 的输入元素组成的一个...
2018-07-08 15:52:58 831
原创 Spark的两种分布式部署模式: Mesos,Yarn
(转载地址:http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/)目前Apache Spark支持三种分布式部署方式,分别是standalone、spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内部实现了容错性和...
2018-07-05 22:24:29 3102
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人