![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 93
edentyin
在大数据的浪潮中奋勇前进
展开
-
storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较,原文发表于踏得网。 Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使转载 2014-11-26 12:55:06 · 1348 阅读 · 0 评论 -
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件 Hadoop-2.2.0 Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1 Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了) Sqoop1.4.5 Scala-2.10.4 Spark-1.0原创 2015-09-07 23:07:15 · 4696 阅读 · 0 评论