Hadoop学习--第一篇：Hadoop概述

一、大数据概论

概念

大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

主要解决：海量数据的存储和海量数据的分析计算问题。

特征

5V特征：大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（value）、真实性（Veracity）。

• 容量（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息；
• 种类（Variety）：数据类型的多样性；
• 速度（Velocity）：指获得数据的速度；
• 可变性（Variability）：妨碍了处理和有效地管理数据的过程；
• 真实性（Veracity）：数据的质量；
• 复杂性（Complexity）：数据量巨大，来源多渠道；
• 价值（value）：合理运用大数据，以低成本创造高价值；

二、Hadoop概论

什么是Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

Hadoop优势

• 高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。
• 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
• 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
•  高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。

Hadoop组成

Hadoop组成如下图：

1）Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统。
2）Hadoop MapReduce：一个分布式的离线并行计算框架。
3）Hadoop YARN：作业调度与集群资源管理的框架。
4）Hadoop Common：支持其他模块的工具模块。

Hadoop如何工作？

建立重配置，处理大规模处理服务器这是相当昂贵的，但是作为替代，可以联系许多普通电脑采用单CPU在一起，作为一个单一功能的分布式系统，实际上，集群机可以平行读取数据集，并提供一个高得多的吞吐量。此外，这样便宜不到一个高端服务器价格。因此使用Hadoop跨越集群和低成本的机器上运行是一个不错不选择。

Hadoop运行整个计算机集群代码。这个过程包括以下核心任务由 Hadoop 执行：

• 数据最初分为目录和文件。文件分为128M和64M（128M最好）统一大小块。
• 然后这些文件被分布在不同的群集节点，以便进一步处理。
• HDFS，本地文件系统的顶端﹑监管处理。
• 块复制处理硬件故障。
• 检查代码已成功执行。
• 执行发生映射之间，减少阶段的排序。
• 发送排序的数据到某一计算机。
• 为每个作业编写的调试日志。

版本选择

 Hadoop版本主要有四个：Apache基金会版本、Cloudera版本（CDH）、Hortonworks版本（HDP）、MapR版本。

1） Apache Hadoop

优点：①完全开源免费；②社区活跃；③文档、资料详实

缺点：①复杂的版本管理；②复杂的集群部署；③复杂的集群运维；④复杂的生态环境。

2）第三方发行版本

优点：①基于Apache协议，100%开源；②版本管理清晰；③兼容性、安全性、稳定性上有增强；④基于稳定版本Apache Hadoop，版本更新快；⑥提供了部署、安装、配置工具，大大提高了集群部署的效率；⑦运维简单。

缺点：涉及到厂商锁定的问题。（可以通过技术解决）

综上所述，考虑到大数据平台高效的部署和安装，中心化的配置管理，使用过程中的稳定性、兼容性、扩展性，以及未来较为简单、高效的运维，遇到问题低廉的解决成本。建议使用第三方发行版本。其中国内应用较多的是Cloudera的CDH。

 

三、参考文献

大数据百度百科

大数据版本选择探讨

Hadoop教程