spark (1)初学者对于spark的几个疑问

原创 2016年06月01日 21:23:51

初学者对于spark的几个疑问

  • Hadoop是啥?spark是啥?
  • spark能完全取代Hadoop吗?
  • Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)?
  • 学习Hadoop和spark,哪门语言好?
  • 哪里能找到比较全的学习资料?

1 Hadoop是啥?spark是啥?

        (1)先来了解下Hadoop历史渊源

        Doug Cutting是Apache Lucene创始人, Apache Nutch项目开始于2002年,Apache Nutch是Apache Lucene项目的一部分。2005年Nutch所有主要算法均完成移植,用MapReduce和NDFS来运行。2006年2月,Nutch将MapReduce和NDFS移出Nutch形成Lucene一个子项目,命名Hadoop。

        Hadoop不是缩写,而是虚构名。项目创建者Doug Cutting解释Hadoop的得名:“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”

 

        (2)狭义的Hadoop

        个人认为,狭义的Hadoop指Apache下Hadoop子项目,该项目由以下模块组成:

  • Hadoop Common: 一系列组件和接口,用于分布式文件系统和通用I/O
  • Hadoop Distributed File System (HDFS?): 分布式文件系统
  • Hadoop YARN: 一个任务调调和资源管理框架
  • Hadoop MapReduce: 分布式数据处理编程模型,用于大规模数据集并行运算

        狭义的Hadoop主要解决三个问题,提供HDFS解决分布式存储问题,提供YARN解决任务调度和资源管理问题,提供一种编程模型,让开发者可以进来编写代码做离线大数据处理。

 

        (3)广义的Hadoop

        个人认为,广义的Hadoop指整个Hadoop生态圈,生态圈中包含各个子项目,每个子项目为了解决某种场合问题而生,主要组成如下图:


 

  • Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • Apache Hive: 是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
  • Apache Pig: 是一个基于Hadoop的大规模数据分析工具,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的难度,提供高性能的分布式服务
  • Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法,解决了并行挖掘的问题。
  • Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存简单格式数据,集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • Apache Avro: 是一个数据序列化系统,设计用于支持数据密集型,大批量数据交换的应用。Avro是新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制
  • Apache Ambari: 是一种基于Web的工具,支持Hadoop集群的供应、管理和监控。
  • Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统,它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • Apache Hama: 是一个基于HDFS的BSP(Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统,可用于日志数据收集,日志数据处理,日志数据传输。
  • Apache Giraph: 是一个可伸缩的分布式迭代图处理系统, 基于Hadoop平台,灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上(HDFS、Pig和MapReduce)的任务。
  • Apache Crunch: 是基于Google的FlumeJava库编写的Java库,用于创建MapReduce程序。与Hive,Pig类似,Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • Apache Whirr: 是一套运行于云服务的类库(包括Hadoop),可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • Apache Bigtop: 是一个对Hadoop及其周边生态进行打包,分发和测试的工具。
  • Apache HCatalog: 是基于Hadoop的数据表和存储管理,实现中央的元数据和模式管理,跨越Hadoop和RDBMS,利用Pig和Hive提供关系视图。
  • Cloudera Hue: 是一个基于WEB的监控和管理系统,实现对HDFS,MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

        从广义的角度来讲,spark是Hadoop生态圈中的一个子项目

 

        (4)spark历史渊源

百度百科 写道
    Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
    Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说, Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
    Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
    尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

 

        (5)spark目前项目组成

  • Spark Streaming:实时流式数据处理,与之类似的有storm
  • Spark SQL, DataFrames and Datasets:SQL化处理一切数据,与之类似的有hive
  • Machine Learning Library:机器学习
  • GraphX:图形可视化
  • Bagel on Spark:谷歌公司Bagel图形处理技术,如何运行于spark
  • R on Spark:R语言在spark上运用

 

2 spark能完全取代Hadoop吗?

        个人认为,spark目前不能完全取代Hadoop,理由如下:Haoop中的分布式文件存储是spark没有的,目前能站得住脚的就只有这点了

        

        spark的出现是有原因的,这个得从Hadoop的编程模型mapreduce说起,mapreduce中间结果首先存储到磁盘文件,大量的IO读写会影响整个计算的耗时,而spark中间结果首先是基于内存存储,免去IO带来的性能开销

        mapreduce有这个弱点,为啥不也用内存呢?个人认为,既然都是Apache项目,spark已经解决了这个问题,那么很可能是Apache放弃了在mapreduce方面的优化,也是顺应大势所趋,没必要在mapreduce浪费时间和经历,当然这也是个人片面之词。

 

3.Hadoop和Spark属于哪种计算计算模型(实时计算、离线计算)?

        这个首先要看你说的是哪个明确的子项目了,个人观点:

  • Hadoop生态圈中子项目Apache Hadoop中的mapreduce是属于离线计算技术;
  • Hadoop生态圈中子项目Apache hive本质是mapreduce,也属于离线计算技术;
  • Hadoop生态圈中子项目Apache storm属于实时计算技术;
  • Hadoop生态圈中子项目Apache spark中spark-shell属于离线计算技术,只不过它基于内存存储中间结果,速度上比mapreduce快很多倍,又离实时计算技术很近;
  • Hadoop生态圈中子项目Apache spark中spark streaming属于实时计算技术,类似于storm;
  • Hadoop生态圈中子项目Apache spark中sparkSQL属于离线计算技术,只不过它基于内存存储中间结果,速度上比hive快很多倍。

4 学习Hadoop和spark,哪门语言好?

        这个问题先要看下我们用到的技术首先是用啥写的,目前,spark和kafka这两个是用基于JVM上的语言Scala实现的,而Hadoop、hbase、hive这些是用基于JVM上的语言java实现的。

        所以个人认为,学习这些技术,如果要深入源代码研究和查找问题,建议首选java和Scala,最好做到精通。

        那么其他语言开发者咋办,也不是不能从事大数据开发了,因为目前大数据技术方面考虑到了其他语言开发者的感受,提供多种语言支持的,这里首先推荐去学习解释型语言Python,推荐这个的另一好处是,Python使用matlib不用考虑版权问题了但用这些非JVM语言一个缺点是,当出现了问题的时候,你拿到的一堆JVM错误信息,你可咋办???

 

5.哪里能找到比较全的学习资料?

        就个人目前学习大数据经验来说,最全的资料还是官网了

        很多微博和视频都有介绍,包括我现在在写的微博,总体来说都比较片面,你被强迫的接受就是要这么去操作,例如Hadoop很多地方部署都写的是Hadoop1.x版本里面的namenode+secondarynamenode部署方式,很少人告诉你这是是部署方式之一,还有Hadoop2.x里面的HA部署方式;spark部署方式很多地方介绍的是单master方式,很少有地方告诉你还有基于zookeeper上的多master部署方式,而这些没有告诉你的方式在某些视频中被标榜为独门秘籍,那些老师得意洋洋的说:“来吧,交点钱,来听我的课,在我的课程里我会告诉你怎么部署spark多master方式

版权声明:本文为博主原创文章,未经博主允许不得转载。同步更新于http://aperise.iteye.com/ 举报

相关文章推荐

Spark streaming在可用性方面的改进

Driver的容错性和可用性,在spark1.2发布版本中,spark streaming提供了HA机制

利用R语言实现spark大数据分析与可视化

系统概述 在日常业务分析中, R是非常常用的分析工具,而当数据量较大时,用R语言需要需用更多的时间来完成训练模型,spark作为大规模数据计算框架,采用内存计算,可以短时间内完成大量...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

程序员编程艺术:第九章、闲话链表追赶问题

程序员编程艺术:第九章、闲话链表追赶问题 作者:July、狂想曲创作组。 出处:http://blog.csdn.net/v_JULY_v 。 前奏     有这样一个问题:在一条左右...

cmake命令 安装、用法简介

前言cmake是kitware公司以及一些开源开发者在开发几个工具套件(VTK)的过程中所产生的衍生品。后来经过发展,最终形成体系,在2001年成为一个独立的开放源代码项目。其官方网站是www.cma...
  • fly_yr
  • fly_yr
  • 2015-11-13 11:46
  • 18012

MyCat - 使用篇(3)

数据库路由中间件MyCat - 使用篇(3)全局序列号数据切分后,原有的关系数据库中的主键约束在分布式条件下将无法使用,因此需要引入外部机制保证数据唯一性标识,这种保证全局性的数据唯一标识的机制就是全...

java 中几种去除空格的方法

JAVA中去掉空格 1. String.trim() trim()是去掉首尾空格 2.str.replace(" ", ""); 去掉所有空格,包括首尾、中间 复制代码 代码如下:String str...

【转】计数系统架构实践一次搞定

一、需求缘起很多业务都有“计数”需求,以微博为例:微博首页的个人中心部分,有三个重要的计数:关注了多少人的计数粉丝的计数发布博文的计数微博首页的博文消息主体部分,也有有很多计数,分别是一条博文的:转发...

Spark SQL系列------2. Spark SQL Aggregate操作的实现

本篇文章主要将Aggregate操作的时候的数据存储和实现过程

SQL 10 函数 3 日期时间函数 - 5 计算日期差额

计算日期差额

使用jmap dump 分析JVM内存状态

查看整个JVM内存状态 jmap -heap [pid] 要注意的是在使用CMS GC 情况下,jmap -heap的执行有可能会导致Java 进程挂起
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)