spark api
文章平均质量分 78
九万1988
hdfs + yarn + spark
展开
-
深入理解 spark api --- Aggregate
Deep understand Aggregate funcation of Spark API val z = sc.parallelize(List("a","b","c","d","e","f"), 3) println("result:"+z.aggregate("X")((x,y)=> "1"+x+y ,(x,y)=>"2"+ x+y)) step 1原创 2014-12-09 08:55:54 · 418 阅读 · 0 评论 -
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop,HBase,Storm,Spark到底是什么? Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统 MapReduce:计算系统 Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架 Pig:基于Hadoop的语言开发的 HBase:NoSQL数据库 Flume:一个收集处理Hadoop数据的框架转载 2014-12-11 13:09:27 · 362 阅读 · 0 评论