[Hadoop培训笔记]01-Hadoop开源软件及其生态系统介绍

原创 2013年12月03日 11:35:06

注:开源力量Hadoop Development网络培训,链接:http://new.osforce.cn/course/52  个人笔记,不具参考性。


Hadoop实际用途主要是:运维、开发

Hadoop组件:common、HDFS、MapReduce(mrv1,mrv2)

Google核心技术(分四类,括号里是Hadoop对应组件)

  • ​分布式基础设施:GFS(HDFS)、Chubby(Zookeeper)、Protocol Buffer
  • 分布式大规模数据处理:MapReduce(MapReduce(mrv1,mrv2))、Sawzall
  • 分布式数据库技术:BigTable(HBase)、Sharding
  • 数据中心优化技术:数据中心高温化、12V电池和服务器整合
  • Hadoop特点:open source, reliability, availability, scalability, high efficiency

Hadoop core:HDFS组件、MapReduce组件、Common组件


下图是HDFS架构图


下图是MapReduce示意图



下图是Hadoop生态系统



Hadoop发行版:

  • Cloudera CDH (重要组件:Impala)
  • Hortonworks HDP (重要组件:TEZ、YARN)
  • Intel Distribution (重要组件:Flume、Sqoop、Mahout)
  • IBM BigInsight
Hadoop版本选择:Hadoop 1.x,Hadoop 2.x
  • namenode,HA(0.21.x, 0.22.x, 2.x)
  • HDFS Federation & YARN (0.23.x, 2.x)

推荐资料:

开源软件架构:NoSQL生态系统

本文整理自:http://www.aosabook.org/en/nosql.html     中文翻译参考了这里:http://blog.nosqlfan.com/html/2171.html...

hadoop生态系统介绍

  • 2014年02月17日 15:25
  • 5.1MB
  • 下载

hadoop生态系统的详细介绍

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和MapReduce,hadoop2.0还包括Y...

Hadoop生态系统介绍

Hadoop生态系统Hadoop1.x 的各项目介绍1. HDFS2. MapReduce3. Hive4. Pig5. Mahout6. ZooKeeper7. HBase8. Sqoop9. Fl...

Hadoop生态系统介绍

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YAR...

Hadoop生态系统介绍

Hadoop生态系统介绍 分类: Hadoop2014-02-22 16:27 4630人阅读 评论(2) 收藏 举报 hadoophadoop总述 目录(?)[+]...

Apache Hadoop最全生态系统介绍

下面详细介绍生态系统的组成。   1. HDFS HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)是Hadoop体系中数据存储管理的基础。它是一个...
  • zoubf
  • zoubf
  • 2016年03月05日 21:53
  • 1339

hadoop生态系统的详细介绍

前提日常喜欢看一些微信分享的好文,总结下来,可以作为过滤器吧(节约更多人的时间!),在这里引用的是别人的文章!对原文的作者表示感谢!确实写的很好!hadoop生态系统的详细介绍简介Hadoop是一个开...
  • it_dx
  • it_dx
  • 2017年05月16日 23:31
  • 360

Hadoop生态系统介绍

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YAR...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[Hadoop培训笔记]01-Hadoop开源软件及其生态系统介绍
举报原因:
原因补充:

(最多只允许输入30个字)