初识Apache Hadoop

最新推荐文章于 2024-05-07 23:22:23 发布

置顶碧茂大数据

最新推荐文章于 2024-05-07 23:22:23 发布

阅读量985

点赞数 1

分类专栏： Hadoop 文章标签： hadoop 大数据 Hadoop发行版 Hadoop应用 Hadoop事实

本文链接：https://blog.csdn.net/dashujuedu/article/details/53377556

版权

Hadoop 专栏收录该内容

22 篇文章 1 订阅

订阅专栏

Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编者对于ApacheHadoop进行详细介绍：

一、什么是Apache Hadoop？

1. 概念：用来存储、处理和分析大数据的开源框架。

2. 特点：分布式，可扩展并且容错

3. 使用成本：利用了产业标准硬件的能力，成本低。

4. ApacheHadoop集群框架：

Batch processing	Search engine	Analytic SQL	Machine learning	Stream processing	Other applications
workload management
Data storage
Data integration

二、关于Apache Hadoop的几个事实：

1．开源：Apache Hadoop本身是开源的

2. 大约十个公司的60多个committers：如cloudera,yahoo,facebook,apple等，对于Apache Hadoop发展有着重要作用。

3. 几百个编写特性和修复bug的贡献者

4. Apache Hadoop本身有很多项目、应用和工具等

三、Hadoop生态：

四、供应商集成：

五、了解发行版：

1. Cloudera：提供了CDH和Cloudera Manager

（1）CDH (Cloudera’s Distributionincluding Apache Hadoop)：100%开源，为企业准备的Hadoop和相关项目的发行版；集成了所有关键的Hadoop生态项目

2. Hortonworks：提供了HDP (HORTONW0RKS DATA PLATFORM)

3. Mapr:mapr汇聚数据平台

4.其他发行版：

以上就是小编根据自己的实际经验为大家总结的Apache Hadoop基本知识，让大家对于Hadoop有一个基本的框架认识。在这里，也真诚建议大家平常多自主学习，无论是看一些大数据的书籍，还是关注一些大数据资讯，对于大家都是很有帮助和促进的。我个人在平时喜欢看大数据cn和大数据学习中心这样的微信服务号，经常有一些大数据最前端的资讯和一些免费的资源，对于我个人而言，帮助还是蛮大的，大家平常也可以多积累一些这方面资源，多多分享交流，共同进步！