大数据
Alvin_blog
一个为梦想而奋斗的菜鸟程序员
展开
-
Spark相对于MapReduce的优势
Spark是类Hadoop MapReduce的通用的并行计算框架,但不同于MapReduce的是Job中间输出和结果可以保存在内存中,也就是说spark是基于内存计算的,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法这里简单说一下对spark相对于mapreduce的优势原创 2017-06-23 10:39:45 · 5329 阅读 · 0 评论 -
Zookeeper应用场景
Zookeeper是一个高可用的分布式数据管理和协调框架,并且能够很好的保证分布式环境中数据的一致性。在越来越多的分布式系统(Hadoop、HBase、Kafka)中,Zookeeper都作为核心组件使用转载 2017-09-03 20:58:09 · 468 阅读 · 0 评论