spark处理大数据的几个实例介绍

在集群中跑应用,而不是在shell中
感受写spark应用的过程

整个过程为:
1、案例分析:要用哪些spark的RDD的API
2、编程实现: 用到scala
3、提交到集群执行:如何提交到集群,文件是否先传到HDFS上
4、监控执行结果: 通过web可以看到
介绍了四个案例:
比如 统计1千万个人的平均身高,如果用其他语言,估计要好几小时,因为磁盘读写,要反复计算
用了spark之后,分布式了,而且还大量使用了内存的资源
学到了一个完整的分布式系统的程序是怎么在集群上跑的
还有对Spark job 的执行流程简介
参考链接:
https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/
有四个使用spark的具体实例


我现在的问题:如何放到集群上跑?本地是没问题的





  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值