![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 88
yjcyyl062c
这个作者很懒,什么都没留下…
展开
-
Spark是否会替代Hadoop?
我经常会从客户或者网上听到这个问题,尤其是最近几年。那么关于spark哪些被我们神化了,哪些又是真实的,以及它在“大数据”的生态系统中又是怎样的? 说实话,其实我把这个问题作为标题是有问题的,但是我们经常会这样问。Hadoop并不是一个单独的产品而是一个生态系统,而spark也是一样的。下面让我们来一个一个解释。目前Hadoop生态系统主要包括: HDFS—Hadoop分布式文件系统...原创 2016-03-24 23:17:14 · 1538 阅读 · 1 评论 -
Spark迷思
目前在媒体上有很大的关于Apache Spark框架的声音,渐渐的它成为了大数据领域的下一个大的东西。证明这件事的最简单的方式就是看google的趋势图: 上图展示的过去两年Hadoop和Spark的趋势。Spark在终端用户之间变得越来越受欢迎,而且这些用户经常在网上找Spark相关资料。这给了Spark起了很大的宣传作用;同时围绕着它的也有误区和思维错误,而且很多人还把这些误区作为...2016-03-27 19:28:00 · 111 阅读 · 0 评论 -
Spark架构
声明:本文中所将的spark内存模型是1.6+的版本,新的内存模型会在新的文章中讲到。 不久前我在StackOverflow上回答了一系列关于Apache Spark架构相关的问题。这似乎是由于网上缺乏好的Spark整体架构的文章。甚至是官网指导中也没有很多详细的介绍,当然也缺少好的架构图。“Learning Spark”这本书和官方资料中也一样没有。 本文我将尝试解决这个问题并...原创 2016-03-28 21:28:26 · 216 阅读 · 0 评论