spark笔记
文章平均质量分 54
babysoe
这个作者很懒,什么都没留下…
展开
-
Spark RDD算子应用案例(1)
这道小题目非常经典,可以有很多种做法,我列出了一种最直白易懂的做法。如果有更多简洁的方法,欢迎在评论区指教,我也很乐衷于探索每道题的不同解法~ 数据格式为: 日期,姓名,app,下载渠道,地区,版本号 2017-08-14,王祖贤,连连看,360应用,北京,v1.0 2017-08-14,林青霞,连连看,安智市场,北京,v1.2 2017-08-14,王祖贤,连连看,360应用,天津,v1.原创 2018-05-09 11:35:42 · 952 阅读 · 0 评论 -
Spark概述
Spark概述一.Spark是什么Spark是一种快速,通用,可扩展的大数据分析引擎。2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为apache孵化项目。2014年成为apache顶级项目。 目前,Spark生态系统已发展成为一个包含多个子项目的生态系统,他的子项目包括: 1.Spark SQL 2.Spark Streaming 3.GraphX 4.原创 2018-05-04 15:03:47 · 321 阅读 · 1 评论 -
第一个spark程序(wordcount)
一.spark的四种部署模式 1.本地模式(local) 不指定master,或者–master local local:只是用一个cores local[N]:使用N个cores local[*]:使用所有的cores 2.standalone 集群模式 spark框架自带的模式 –master standalone的master地址 eg: –master spark://...原创 2018-05-04 17:16:48 · 958 阅读 · 0 评论 -
用javaAPI和javaLambda写Spark程序(wordcount)
一.JavaAPI实现wordcount代码实现:public class JavaWordCount { public static void main(String[] args){ if(args.length!=2){ System.out.println("Usage:JavaWordCount<input><output>");原创 2018-05-05 22:14:15 · 907 阅读 · 1 评论