hadoop特性讲解

为什么80%的码农都做不了架构师？>>>   

1.Hadoop是什么？2.Hadoop能做什么？

这两个问题，我相信大家都比较的关心。那么我们就来聊聊它们。

首先，Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

1.   高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2.   高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3.   高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4.   高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

5.   低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。

其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？？带着这 个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？

关于hadoop,我映像比较深刻的是知乎中有人提到的一个“秒级营销”，什么是“秒级营销”呢？说白了就是：

1.通过大数据计算你的个人信息；

2.然后进行精准推送。

hadoop还能够做什么呢？

例如：

·        大数据量存储：分布式存储

·        日志处理: Hadoop擅长这个

·        海量计算: 并行计算

·        ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

·        使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统

·        搜索引擎:hadoop + lucene实现

·        数据挖掘：目前比较流行的广告推荐

·        大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。

·        任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。

·        个性化广告推荐

说了这么多，如果没有理解没有明白，没关系。我们挑其核心讲呗

Hadoop最核心的设计就是HDFS和MapReduce

1.Hdfs提供海量的数据存储。

具体的可参看HDFS详解（个人推荐,该博客拥有比较多的文档支撑）

2.MapReduce提供了对数据的计算。

2.1MapReduce编程模型

MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。

在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。

在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇总起来。

需要注意的是，用MapReduce来处理的数据集（或任务）必须具备这样的特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。

2.2MapReduce处理过程

在Hadoop中，每个MapReduce任务都被初始化为一个Job，每个Job又可以分为两种阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即map函数和reduce函数。map函数接收一个<key,value>形式的输入，然后同样产生一个<key,value>形式的中间输出，Hadoop函数接收一个如<key,(list of values)>形式的输入，然后对这个value集合进行处理，每个reduce产生0或1个输出，reduce的输出也是<key,value>形式的。

MapReduce处理大数据集的过程

经过这么一讲解，您是不是对hadoop有了新一步的认识呢？

转载于:https://my.oschina.net/nyp/blog/534003