大数据
wind520
这个作者很懒,什么都没留下…
展开
-
Hadoop和Spark生态圈了解
作者简介:Andrew C. Oliver是养猫达人,副业是软件顾问。他是Mammoth Data公司(前身是Open Software Integrators)总裁兼创始人,这家大数据咨询公司的总部设在北卡罗来纳州达勒姆。 令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。转载 2016-08-13 14:23:27 · 3923 阅读 · 0 评论 -
Spark与Flink:对比与分析
Spark是一种快速、通用的计算集群系统,Spark提出的最主要抽象概念是弹性分布式数据集(RDD),它是一个元素集合,划分到集群的各个节点上,可以被并行操作。用户也可以让Spark保留一个RDD在内存中,使其能在并行操作中被有效的重复使用。Flink是可扩展的批处理和流式数据处理的数据处理平台,设计思想主要来源于Hadoop、MPP数据库、流式计算系统等,支持增量迭代计算。 原理 S转载 2016-08-13 14:30:35 · 3333 阅读 · 0 评论 -
Hadoop处于风雨飘摇中
作者简介:George Gilbert是Wikibon研究公司的大数据和数据分析分析师。 摘要:Hadoop或因身份危机而丢掉大数据领导者的宝座。 去年,我们都知道企业界的大数据意味着。它意味着Hadoop,它处于大幅采用浪潮的鼎盛时期。如今,大数据仍然追波逐浪,但目前还不清楚Hadoop是否跟得上势头。 Hadoop的成功在生原创 2016-08-13 14:35:05 · 563 阅读 · 0 评论 -
Hadoop vs Spark
面对Hadoop与Spark孰优孰劣这个问题,最准确的观点就是,设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。 比如说,Spark没有文件管理功能,因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。将Ha转载 2016-08-13 14:37:55 · 603 阅读 · 0 评论