hadoop/spark
leo鱼
这个作者很懒,什么都没留下…
展开
-
MapReduce过程、Spark和Hadoop以Shuffle为中心的对比分析
转自:http://www.jianshu.com/p/0ddf3ae19b49 mapreduce与Spark的map-Shuffle-reduce过程 mapreduce过程解析(mapreduce采用的是sort-based shuffle) 将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.map函数处理完成之后,进入collect阶转载 2016-08-30 08:33:11 · 592 阅读 · 1 评论 -
spark单机环境(支持hive)部署
一.安装hadoop 2.6.4 core-site.xml fs.default.name hdfs://localhost:9000 hadoop.tmp.dir /tmp/hadoopTmp hdfs-site.xml转载 2016-09-12 14:33:19 · 2269 阅读 · 0 评论