hadoop-2.6.0-cdh5.14.2在Linux下的伪分布安装和分布式集群安装

平台：    Linux系统

所需安装软件：

1、必须安装Java，推荐的Java版本在HadoopJavaVersions

2、必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。

下载软件：

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

上传：

securecrt 按下ALT+P就开启新的会话 进行ftp操作。

lpwd: 查询本地目录

pwd:  查询linux主机所在目录

put hadoop-2.6.0-cdh5.7.0.tar.gz

解压：

tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/hadoop/appscd hadoop-2.6.0-cdh5.7.0

cd /home/hadoop/apps/hadoop-2.6.0-cdh5.14.2/etc/hadoop

伪分布式模式安装:

编辑文件etc / hadoop / hadoop-env.sh来定义一些参数
  ＃设置为Java安装的根目录

export JAVA_HOME=/usr/local/soft/jdk1.8.0_73 

修改 core-site.xml：

<configuration>
     <property>
         <name>hadoop.tmp.dir</name>
         <value>/home/hadoop/hadoopdata</value>
         <description>Abase for other temporary directories.</description>
     </property>
     <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop01:9000</value>
     </property>
</configuration>

修改 slaves：

hadoop01

添加 hadoop 环境变量：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化 namenode：

[hadoop@hadoop01 ~]$ hadoop namenode -format

启动 hdfs：

start-dfs.sh

启动 yarn:

start-yarn.sh

检查集群启动是否成功:

1、 利用 jps 工具检测各进程是否启动成功

2、 Web UI 查看HDFS：http://hadoop01:50070/

    MapReduce：http://hadoop01:8088/cluster/cluster

分布式集群安装:

修改 hadoop-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_73

修改 core-site.xml:

<property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop01:9000</value>
</property>
<property>
     <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/hadoopdata</value>
</property>

修改 hdfs-site.xml:

<property>
     <name>dfs.namenode.name.dir</name>
     <value>/home/hadoop/hadoopdata/name</value>
</property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>/home/hadoop/hadoopdata/data</value>
</property>
<property>
     <name>dfs.replication</name>
     <value>2</value> 
</property>
<property>
     <name>dfs.secondary.http.address</name>
     <value>hadoop02:50090</value>
</property>

修改 mapred-site.xml（集群只有 mapred-site.xml.template，可以从这个文件进行复制，或者直接改名也可）:

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

修改 yarn-site.xml:

<property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop02</value>
</property>
<property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
</property>

修改 slaves 文件:

 hadoop02
 hadoop03
 hadoop04

分发安装包到各个节点，Hadoop 集群的每个节点都需要安装 Hadoop 安装包:

scp -r hadoop-2.6.0-cdh5.14.2 hadoop02:$PWD
scp -r hadoop-2.6.0-cdh5.14.2 hadoop03:$PWD

分别添加 hadoop 环境变量：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.0-cdh5.14.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在 HDFS 主节点上执行命令进行初始化 namenode:

hadoop namenode -format

启动 hdfs：

start-dfs.sh

启动 yarn:

start-yarn.sh

检查集群启动是否成功:

1、 利用 jps 工具检测各进程是否启动成功

2、 Web UI 查看HDFS：http://hadoop01:50070/

    MapReduce：http://hadoop01:8088/cluster/cluster

测试集群是否安装成功：

 1、检测 hdfs 是否启动成功
     hadoop fs -ls /
 2、检测 yarn 集群是否启动成功（提交 mapreduce 例子程序试跑）
    hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5

补充说明：

 1、启动 namenode 或者 datenode
     sbin/hadoop-daemon.sh start datanode
     sbin/hadoop-daemon.sh start namenode
 2、启动 yarn nodemanager
     sbin/yarn-daemon.sh start nodemanager
     sbin/yarn-daemon.sh start resourcemanager
 3、hdfs 集群信息 web 管理界面地址
     http://hadoop01:50070
 4、mapreduce 运行状态信息 web 管理界面
     http://hadoop02:8088
 5、查看集群状态
     hadoop dfsadmin -report
     hdfs dfsadmin -report（推荐用这个）

参考文档：http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html