- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark RDD算子应用案例（1）
这道小题目非常经典，可以有很多种做法，我列出了一种最直白易懂的做法。如果有更多简洁的方法，欢迎在评论区指教，我也很乐衷于探索每道题的不同解法~数据格式为： 日期，姓名，app,下载渠道，地区，版本号 2017-08-14,王祖贤,连连看,360应用,北京,v1.0 2017-08-14,林青霞,连连看,安智市场,北京,v1.2 2017-08-14,王祖贤,连连看,360应用,天津,v1.
2018-05-09 11:35:42
942
原创 用javaAPI和javaLambda写Spark程序(wordcount)
一.JavaAPI实现wordcount代码实现：public class JavaWordCount { public static void main(String[] args){ if(args.length!=2){ System.out.println("Usage:JavaWordCount<input><output>");
2018-05-05 22:14:15
896
1
原创 第一个spark程序（wordcount）
一.spark的四种部署模式1.本地模式（local）不指定master,或者–master local local:只是用一个cores local[N]:使用N个cores local[*]:使用所有的cores2.standalone 集群模式 spark框架自带的模式–master standalone的master地址 eg: –master spark://...
2018-05-04 17:16:48
950
原创 Spark概述
Spark概述一.Spark是什么Spark是一种快速，通用，可扩展的大数据分析引擎。2009年诞生于加州大学伯克利分校AMPLab,2010年开源，2013年6月成为apache孵化项目。2014年成为apache顶级项目。 目前，Spark生态系统已发展成为一个包含多个子项目的生态系统，他的子项目包括： 1.Spark SQL 2.Spark Streaming 3.GraphX 4.
2018-05-04 15:03:47
311
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人