Hadoop技术

Hadoop技术

一、Hadoop介绍

Hadoop是Apache旗下的一个用java语言实现开源软件的框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：

HDFS(分布式文件系统)：解决海量数据存储 MAPREDUCE(分布式运算编程框架)：解决海量数据计算 YARN(作业调度和集群资源管理的框架)：解决资源任务调度

广义上来说，Hadoop通常是指一个更广泛的概念-----Hadoop生态圈。

当下的Hadoop已经成长为一个庞大的体系，随着生态系统的成长，新出现的项目越来越多，其中不乏一些非Apache主管的项目，这些项目对HADOOP是很好的补充或者更高层的抽象。比如：

框架	用途
HDFS	分布式文件系统
MapReduce	分布式运算程序开发框架
ZooKeeper	分布式协调服务基础组件
HIVE	基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作
FLUME	日志数据采集框架
oozie	工作流调度框架
Sqoop	数据导入导出工具（比如用于mysql和HDFS之间）
Impala	基于hive的实时sql查询分析
Mahout	基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

二、Hadoop发展简史

Hadoop是Apache Lucene创始人 Doug Cutting创建的。最早起源于Nutch，它是Lucene的子项目。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但是随着抓取网页数量的增加，遇到了严重的可扩展性问题：如何解决数十亿网页的存储和索引问题。

2003年Google发表了一篇论文为该问题提供了可行的解决方案。论文中描述的是谷歌的产品框架，该框架称为：谷歌分布式文件系统（GFS）,可以解决他们在网页爬取和索引过程中产生的超大文件的存储需求。

2004年 Google发表论文向全世界介绍了谷歌版的MapReduce系统。

同时期，以谷歌的论文为基础，Nutch的开发人员完成了响应的开源实现HDFS和MAPREDUCE,并从Nutch中剥离成为独立项目HADOOP,到2008年1月，hadoop成为apache顶级项目，迎来了它的快速发展期。

2006年Google发表了论文是关于BigTable的，这促使了后来的Hbase的发展。

因此，Hadoop及其生态圈的发展离不开Google的贡献。

三、Hadoop特性优点

扩容能力（Scalable）：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可用方便的扩展到数以千计的节点中。

成本低（Economical）：Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据，以至于成本很低。

高效率（Efficient）：通过并发数据，Hadoop可以在节点之间动态并行的移动数据，使得速度非常快。

可靠性（Rellable）：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

四、Hadoop国内外应用

4.1Hadoop在国外应用的部分企业

1.Yahoo

Yahoo是Hadoop的最大支持者，Yahoo的Hadoop机器总节点数目已经超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点（每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM）。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个。

Yahoo的Hadoop应用主要包括以下几个方面：

• 支持广告系统

• 用户行为分析

• 支持web搜索

• 反垃圾邮件系统

• 个性化推荐

2．Facebook

主要用于存储内部日志的拷贝，作为一个源用于处理数据挖掘和日志统计。主要使用了2个集群：一个有1100台节点组成的集群，包括8800核CPU（即每台机器8核）,和12000TB的原始存储(即每台机器12T硬盘) 一个有300台节点组成的集群，包括2400核CPU（即每台机器8核），和3000TB的原始存储(即每台机器12T硬盘) 由此基础上开发了基于SQL语法的项目：HIVE 。

Facebook使用Hadoop集群的机器节点超过1400台，共计11200个核心CPU,超过15PB原始存储容量，每个商用机器节点配置了8核CPU,，12TB数据存储，主要使用StreamingAPI和JavaAPI编程接口。Facebook同时Hadoop基础上建立了一个名为Hive的高级数据仓库框架，Hive已经正式成为基于Hadoop的Apache一级项目。

3、IBM

IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括：Xen和PowerVM虚拟化的Linux操作系统映像及Hadoop并行工作量调度，并发布了自己的Hadoop发行版及大数据解决方案。

4.2Hadoop在国内应用的部分企业

1.百度

Hadoop集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过1700TB。

百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队、以及LBS团体提供统一的计算和存储服务，主要应用包括：

• 数据挖掘与分析

• 日志分析平台

• 数据仓库系统

• 推荐引擎系统

• 用户行为分析系统

2.阿里巴巴

阿里巴巴的Hadoop集群大约有3200台服务器，大约30000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150000个，每天hive的query查询大于6000个，每天扫描数据量约为7.5PB，每天扫描文件数约为4亿，存储利用率大约为80%，CPU利用率平均为65%，峰值可以达到80%。

Hadoop集群拥有150个用户组、4500个集群用户，为电子商务网络平台提供低层的基础计算和存储服务，主要应用包括：

• 数据平台系统

• 搜索支撑

• 电子商务数据

• 推荐引擎系统

• 搜索排行榜

3. 华为

华为对Hadoop做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。

4. 腾讯

TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。

TDW服务覆盖了腾讯绝大部分业务产品，单集群规模达到4400台，CPU总核数达到10万左右，存储容量达到100PB；每日作业数100多万，每日计算量4PB，作业并发数2000左右；实际存储数据量80PB，文件数和块数达到6亿多；存储利用率83%左右，CPU利用率85%左右。经过四年多的持续投入和建设，TDW已经成为腾讯最大的离线数据处理平台。TDW的功能模块主要包括：Hive、MapReduce、HDFS、TDBank、Lhotse等

五. Hadoop的历史版本和发行版公司

5.1Hadoop历史版本

1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等，该版本已被淘汰

2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性，是现在使用的主流版本。

3.x版本系列：加入多namenode新特性，该版本是最新版本，但是还不太稳定。

5.2Hadoop发行版公司

Hadoop发行版本分为开源社区版和商业版。

社区版是指有Apache软件基金会维护的版本，是官方维护的版本体系。

商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有cloudera的CDH，mapR、hortonWorks等。

免费开源版本Apache:

http://hadoop.apache.org/

优点：拥有全世界的开源贡献者，代码更新迭代版本比较快。

缺点：版本的升级，版本的维护，版本的兼容性，版本的补丁都可能考虑不太周到，

apache所有软件的下载地址（包括各种历史版本）：

http://archive.apache.org/dist/

免费开源版本HortonWorks：

http://hadoop.apache.org/

hortonworks主要是雅虎主导Hadoop开发的副总裁，带领二十几个核心成员成立Hortonworks，核心产品软件HDP（ambari），HDF免费开源，并且提供一整套的web管理界面，供我们可以通过web界面管理我们的集群状态，web管理界面软件HDF网址（http://ambari.apache.org/），2018年，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份

软件收费版本Cloudera: CDH

https://www.cloudera.com/

cloudera主要是美国一家大数据公司在apache开源hadoop的版本上，通过自己公司内部的各种补丁，实现版本之间的稳定运行，大数据生态圈的各个版本的软件都提供了对应的版本，解决了版本的升级困难，版本兼容性等各种问题

本体系用的是Apache版的Hadoop，版本号为2.7.5

六. Hadoop架构

6.1.1.x的版本架构模型介绍

文件系统核心模块：

NameNode：集群当中的主节点，管理元数据（文本的大小，文件的位置，文本的权限），主要用于管理集群当中的各种数据。

SecondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理。

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据。

6.1. 2.x的版本架构模型介绍

• 第一种：NameNode与ResourceManager单节点架构模型

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager:负责执行主节点APPmaster分配的任务

第二种：NameNode高可用与ResourceManager单节点架构模型

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中NameNode可以有两个，形成高可用状态。

DataNode:集群当中的从节点，主要用于存储集群当中的各种数据

JournalNode：文件系统元数据信息管理

数据计算核心模块：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

NodeManager：负责执行主节点ResourceManager分配的任务

第三种：NameNode单节点与ResourceManager高可用架构模型

文

文件系统核心模块：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理（秘书）

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

 

数据计算核心模式：

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用

NodeManager：负责执行主节点ResourceManager分配的任务

第四种：NameNode与ResourceManager高可用架构模型

文件系统核心模式：

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是两个，实现HA高可用

JournalNode：元数据信息管理进程，一般都是奇数个

DataNode：从节点，用于数据的存储

数据计算核心模块：

ResourceManager：Yarn平台的主节点，主要用于接收各种任务，通常两个，构建成高可用

NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务

6.1.3.x的版本架构模型介绍

Hadoop3.x的基础框架和Hadoop2.x类似，但是Hadoop3.x加入很多新特性：如支持多NameNode，同时对HDFS和MapReduce也进行了优化。

七.hadoop集群搭建

7.1集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：

NameNode、DataNode、SecondaryNameNode

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：

ResourceManager、NodeManager

那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

7.2集群部署方式

Hadoop部署方式分为三种：

1.Standalone mode（独立模式）

独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）

伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（群集模式）

集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

搭建的是集群模式，以三台主机为例，以下是集群规划:

主机 组件	node1 (192.168.88.161)	node2 (192.168.88.162)	node3 (192.168.88.163)
NameNode	是	否	否
Secondary Namenode	否	是	否
DataNode	是	是	是
ResourceManager	是	否	否
NodeManager	是	是	是

7.3. 集群环境准备

集群模式主要用于生产环境部署，需要多台主机，并且这些主机之间可以相互访问，我们在之前搭建好基础环境的三台虚拟机上进行Hadoop的搭建。

7.4. hadoop重新编译

7.4.1. 为什么要编译hadoop

由于appache给出的hadoop的安装包没有提供C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出现问题，需要对Hadoop源码包进行重新编译，请注意，资料中已经提供好了编译过的Hadoop安装包，所以这一部分的操作，了解即可。

7.4.2Hadoop编译实现

Hadoop的编译步骤可以参考:1_Hadoop编译文档.docx文档

7.5. Hadoop安装

7.5.1Hadoop安装包目录结构

解压hadoop-2.7.5.tar.gz，目录结构如下：

bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

sbin：Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在的目录，官方自带示例。

7.5.2Hadoop配置文件修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他各个从节点机器。

注意,以下所有操作都在node1主机进行。

7.5.2.1. hadoop-env.sh

1、介绍

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

2、配置

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  hadoop-env.sh

添加以下内容：

 export JAVA_HOME=/export/server/jdk1.8.0_241

7.5.2.2. core-site.xml

1、介绍

hadoop的核心配置文件，有默认的配置项core-default.xml。

core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。

2、配置

在该文件中的<configuration>标签中添加以下配置,

<configuration>

在这里添加配置

</configuration>

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  core-site.xml

配置内容如下:

 <!-- 用于设置Hadoop的文件系统，由URI指定 -->
      <property>
             <name>fs.defaultFS</name>
             <value>hdfs://node1:8020</value>
      </property>
 <!-- 配置Hadoop存储数据目录,默认/tmp/hadoop-${user.name} -->
  <property>
            <name>hadoop.tmp.dir</name>
            <value>/export/server/hadoop-2.7.5/hadoopDatas/tempDatas</value>
     </property>
 <!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
      <property>
            <name>io.file.buffer.size</name>
            <value>4096</value>
      </property>
 <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
      <property>
            <name>fs.trash.interval</name>
            <value>10080</value>
      </property>

7.5.2.3.hdfs-site.xml

1、介绍

HDFS的核心配置文件，主要配置HDFS相关参数，有默认的配置项hdfs-default.xml。

hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。

2、配置

在该文件中的<configuration>标签中添加以下配置,

<configuration>

在这里添加配置

</configuration>

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  hdfs-site.xml

配置一下内容

 <!-- 指定SecondaryNameNode的主机和端口 -->
 <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>node2:50090</value>
 </property>
 <!-- 指定namenode的页面访问地址和端口 -->
 <property>
     <name>dfs.namenode.http-address</name>
     <value>node1:50070</value>
 </property>
 <!-- 指定namenode元数据的存放位置 -->
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas</value>
 </property>
 <!--  定义datanode数据存储的节点位置 -->
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:///export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas</value>
 </property> 
 <!-- 定义namenode的edits文件存放路径 -->
 <property>
     <name>dfs.namenode.edits.dir</name>
     <value>file:///export/server/hadoop-2.7.5/hadoopDatas/nn/edits</value>
 </property>
 ​
 <!-- 配置检查点目录 -->
 <property>
     <name>dfs.namenode.checkpoint.dir</name>
     <value>file:///export/server/hadoop-2.7.5/hadoopDatas/snn/name</value>
 </property>
 ​
 <property>
     <name>dfs.namenode.checkpoint.edits.dir</name>
     <value>file:///export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
 </property>
 <!-- 文件切片的副本个数-->
 <property>
     <name>dfs.replication</name>
     <value>3</value>
 </property>
 ​
 <!-- 设置HDFS的文件权限-->
 <property>
     <name>dfs.permissions</name>
     <value>false</value>
 </property>
 <!-- 设置一个文件切片的大小：128M-->
 <property>
     <name>dfs.blocksize</name>
     <value>134217728</value>
 </property>
 <!-- 指定DataNode的节点配置文件 -->
 <property>
          <name> dfs.hosts </name>
          <value>/export/server/hadoop-2.7.5/etc/hadoop/slaves </value>
 </property>

7.5.2.4. mapred-site.xml

1、介绍

MapReduce的核心配置文件，Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

2、配置

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 cp mapred-site.xml.template mapred-site.xml

在mapred-site.xml文件中的<configuration>标签中添加以下配置,

<configuration>

在这里添加配置

</configuration>

 vim  mapred-site.xml

配置一下内容:

     <!-- 指定分布式计算使用的框架是yarn -->
     <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
     </property>
 ​
     <!-- 开启MapReduce小任务模式 -->
     <property>
         <name>mapreduce.job.ubertask.enable</name>
         <value>true</value>
     </property>
     
     <!-- 设置历史任务的主机和端口 -->
     <property>
         <name>mapreduce.jobhistory.address</name>
         <value>node1:10020</value>
     </property>
 ​
     <!-- 设置网页访问历史任务的主机和端口 -->
     <property>
         <name>mapreduce.jobhistory.webapp.address</name>
         <value>node1:19888</value>
     </property>

7.5.2.5. mapred-env.sh

在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉，然后按照以下

方式修改:

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  mapred-env.sh
 export JAVA_HOME=/export/server/jdk1.8.0_241

7.5.2.6. yarn-site.xml

YARN的核心配置文件,在该文件中的<configuration>标签中添加以下配置,

<configuration>

在这里添加配置

</configuration>

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  yarn-site.xml

添加以下配置：

 <!-- 配置yarn主节点的位置 -->
     <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>node1</value>
     </property>
 ​
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     
     <!-- 开启日志聚合功能 -->
     <property>
         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
     </property>
     <!-- 设置聚合日志在hdfs上的保存时间 -->
     <property>
         <name>yarn.log-aggregation.retain-seconds</name>
         <value>604800</value>
     </property>
     <!-- 设置yarn集群的内存分配方案 -->
 <property>    
         <name>yarn.nodemanager.resource.memory-mb</name>    
         <value>2048</value>
     </property>
     <property>  
              <name>yarn.scheduler.minimum-allocation-mb</name>
             <value>2048</value>
     </property>
     <property>
         <name>yarn.nodemanager.vmem-pmem-ratio</name>
         <value>2.1</value>
     </property>

7.5.2.7. slaves

1、介绍

slaves文件里面记录的是集群主机名。一般有以下两种作用：

一是：配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。

二是：可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。

dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在slaves中的主机才可以加入的集群中。如果值为空，则允许所有主机。

1、配置

 cd  /export/server/hadoop-2.7.5/etc/hadoop
 vim  slaves

删除slaves中的localhost，然后添加以下内容:

 node1
 node2
 node3

7.5.3 数据目录创建和文件分发

注意,以下所有操作都在node1主机进行。

1、目录创建

创建Hadoop所需目录

 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/tempDatas
 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/namenodeDatas
 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/datanodeDatas
 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/nn/edits
 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/snn/name
 mkdir -p /export/server/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

2、文件分发

将配置好的Hadoop目录分发到node2和node3主机。

  scp -r /export/server/hadoop-2.7.5/ node2:/export/server/
  scp -r /export/server/hadoop-2.7.5/ node3:/export/server/

7.5.4配置Hadoop的环境变量

注意，三台机器都需要执行以下命令

 vim  /etc/profile

添加以下内容:

 export HADOOP_HOME=/export/server/hadoop-2.7.5
 export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

 source /etc/profile

7.5.5 启动集群

7.5.5.1. 启动方式

要启动Hadoop集群，需要启动HDFS和YARN两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

在node1上执行格式化指令

 hadoop namenode -format

7.5.5.2. 单节点逐个启动

在node1主机上使用以下命令启动HDFS NameNode：

 hadoop-daemon.sh start namenode

在node1、node2、node3三台主机上，分别使用以下命令启动HDFS DataNode：

 hadoop-daemon.sh start datanode

在node1主机上使用以下命令启动YARN ResourceManager：

 yarn-daemon.sh  start resourcemanager

在node1、node2、node3三台主机上使用以下命令启动YARN nodemanager：

 yarn-daemon.sh start nodemanager

以上脚本位于/export/server/hadoop-2.7.5/sbin目录下。如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

7.5.5.3. 脚本一键启动

启动HDFS

 start-dfs.sh

启动Yarn

 start-yarn.sh

启动历史任务服务进程

 mr-jobhistory-daemon.sh start historyserver

启动之后，使用jps命令查看相关服务是否启动，jps是显示Java相关的进程命令。

node1：

node2：

node3

停止集群：stop-dfs.sh、stop-yarn.sh、mr-jobhistory-daemon.sh stophistoryserver

注意:如果在启动之后，有些服务没有启动成功，则需要查看启动日志，Hadoop的启动日志在每台主机的/export/server/hadoop-2.7.5/logs/目录，需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志，以下是node1主机的日志目录.

7.5.6. 集群的页面访问

7.5.6.1. IP访问

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

查看NameNode页面地址:

http://192.168.88.161:50070/

查看Yarn集群页面地址:

http://192.168.88.161:8088/cluster

查看MapReduce历史任务页面地址:

http://192.168.88.161:19888/jobhistory

7.5.6.2. 主机名访问

请注意，以上的访问地址只能使用IP地址，如果想要使用主机名，则对Windows进行配置。

配置方式:

1、打开Windows的C:\Windows\System32\drivers\etc目录下hosts文件

2、在hosts文件中添加以下域名映射

 192.168.88.161  node1  node1.itcast.cn
 192.168.88.162  node2  node2.itcast.cn
 192.168.88.163  node3  node3.itcast.cn

配置完之后，可以将以上地址中的IP替换为主机名即可访问，如果还不能访问，则需要重启Windows电脑，比如访问NameNode，可以使用http://node1:50070/ 。

7.5.7. Hadoop初体验

7.5.7.1. HDFS使用

1、从Linux本地上传一个文本文件到hdfs的/目录下

 #在/export/data/目录中创建a.txt文件，并写入数据
 cd /export/data/
 touch a.txt
 echo "hello" > a.txt 
 ​
 #将a.txt上传到HDFS的根目录
 hadoop fs -put a.txt  /

1、通过页面查看

通过NameNode页面.进入HDFS：http://node1:50070/

查看文件是否创建成功.

http://node3:8088/

7.5.7.2. 运行mapreduce程序

在Hadoop安装包的share/hadoop/mapreduce下有官方自带的mapreduce程序。我们可以使用如下的命令进行运行测试。

示例程序jar:

hadoop-mapreduce-examples-2.7.5.jar

计算圆周率

 hadoop jar /export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 2 10

关于圆周率的估算，感兴趣的可以查询资料蒙特卡洛方法来计算Pi值，计算命令中2表示计算的线程数，50表示投点数，该值越大，则计算的pi值越准确。