spark
文章平均质量分 93
edentyin
在大数据的浪潮中奋勇前进
展开
-
storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较,原文发表于踏得网。Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使转载 2014-11-26 12:55:06 · 1343 阅读 · 0 评论 -
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件Hadoop-2.2.0Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的)Hive-0.13.1Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了)Sqoop1.4.5Scala-2.10.4Spark-1.0原创 2015-09-07 23:07:15 · 4657 阅读 · 0 评论