Tarball安装CDH5.2.1(一)--基础服务HDFS/MR2/YARN

本文为作者原创，转载请标明出处。原作者：Tony_老七，原文链接：http://blog.csdn.net/tonylee0329/article/details/42388723    

     最近公司云主机可以申请使用了，搞了几台机器打算弄个小集群，便于调试目前使用的各个组件。本系列只是个人备忘使用，会怎么方便怎么来，并不一定是正常的ops操作方法。同时，因为专注点有限(目前主要是spark、storm)，并不会将目前CDH的各个组件都完整都搭一遍，只是按照个人需要进行，然后会记录下来，备忘一下。

     虽然看起来只是一个安装过程，可是我们仍然有必要了解现在的CDH的软件栈，下文围绕的CDH5.2.1版本。

选择CDH5.2.X的原因有几个：

1.集成了MR2,同时还向后兼容MR1，这样就可以使用YARN来调度；

2.集成了spark，这样可以充分利用HDFS、yarn的功能，配合起来应用，这个会是重要探究的地方

3.继承了Cloudera Search的功能，Search源自于apache solr，是一个值得关注的地方

以上提到的组件可以在这里下载：

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_cdh_package_tarball.html

目录：

零、安装准备

一、配置

二、单机启动

三、分发配置

四、测试集群功能

零、安装准备

在安装之前，常规检查及配置先搞好，这个比较简单，就是比较细碎，每一项都可以在网上找到资料，不赘述

1.防火墙

2.修改/etc/hosts

3.安装JDK及配置

4.打通ssh

etc...

搞定以上内容后，选择master操作，解压文件hadoop-2.5.0-cdh5.2.1.tar.gz

配置软链设置config路径

/apps/conf/hadoop_conf -> /apps/svr/hadoop/etc

一、配置

我们需要配置的conf在这里：/apps/conf/hadoop_conf/hadoop

详细如下：

• conf/core-site.xml
  
  <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://master:9000</value>
  </property>
  conf/hdfs-site.xml
  <property>
                  <name>dfs.namenode.name.dir</name>
                  <value>file:///apps/dat/hard_disk/0/dfs/nn</value>
          </property>
          <property>
                  <name>dfs.datanode.data.dir</name>
                  <value>/apps/dat/hard_disk/0/dfs/dn</value>
  </property>
  conf/yarn-site.xml
  <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>master:8032</value>
          </property>
          <property>
                  <name>yarn.web-proxy.address</name>
                  <value>master:8042</value>
          </property>
          <property>
                  <name>yarn.resourcemanager.scheduler.address</name>
                  <value>master:8030</value>
          </property>
          <property>
                  <name>yarn.resourcemanager.admin.address</name>
                  <value>master:8141</value>
          </property>
          <property>
                  <name>yarn.resourcemanager.webapp.address</name>
                  <value>master:8088</value>
  </property>
  conf/slaves
  master
  slave1
  conf/hadoop-env.sh
  export JAVA_HOME=/apps/svr/jdk6

  
  
  

二、启动

启动前需要针对HDFS进行格式化

bin/hdfs  namenode -format

格式化完成后，会在配置的NN路径下看到如下文件

[root@bigdatatony-master hadoop]# ll /apps/dat/hard_disk/0/dfs/nn/
total 4
drwxr-xr-x 2 root root 4096 Dec 30 16:21 current
[root@bigdatatony-master hadoop]# ll /apps/dat/hard_disk/0/dfs/nn/current/
total 16
-rw-r--r-- 1 root root 351 Dec 30 16:21 fsimage_0000000000000000000
-rw-r--r-- 1 root root  62 Dec 30 16:21 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root   2 Dec 30 16:21 seen_txid
-rw-r--r-- 1 root root 200 Dec 30 16:21 VERSION

配置完成可以现在master上进行单机测试

启动dfs：

[root@bigdatatony-master sbin]# ./start-dfs.sh

启动yarn

sbin/start-yarn.sh

三、分发配置

确认单机启动无误后，将配置文件及配置进行分发

--检查发生更改的文件，以作分发使用

[root@master hadoop]# ls -alt
total 152
drwxr-xr-x 2 1106 592  4096 Dec 30 17:26 .
-rw-r--r-- 1 1106 592    21 Dec 30 17:26 slaves
-rw-r--r-- 1 1106 592  3484 Dec 30 17:01 hadoop-env.sh
-rw-r--r-- 1 1106 592  4567 Dec 30 16:59 yarn-env.sh
-rw-r--r-- 1 1106 592  1197 Dec 30 16:18 yarn-site.xml
-rw-r--r-- 1 1106 592   997 Dec 30 16:15 hdfs-site.xml
-rw-r--r-- 1 1106 592   863 Dec 30 16:11 core-site.xml

查看master创建的新目录操作

[root@master sbin]# history |grep "mkdir -p"
  556  mkdir -p /apps/dat/hard_disk/0/dfs/dn
  575  mkdir -p /apps/logs/hadoop
  689  mkdir -p /apps/dat/hard_disk/0/dfs/nn

到datanode节点上，进行解压、创建配置路径、scp 配置文件

tar xvzf hadoop-2.5.0-cdh5.2.1.tar.gz && ln -s hadoop-2.5.0-cdh5.2.1 hadoop

ln -s /apps/svr/hadoop/etc  /apps/conf/ hadoop_conf

scp slaves hadoop-env.sh yarn-env.sh yarn-site.xml hdfs-site.xml core-site.xml root@slave1:/apps/conf/hadoop_conf/hadoop

部署完成后，在master节点启动

sbin/start-all.sh

四、测试集群功能

测试HDFS功能及MR2的功能

bin/hdfs dfs -put etc/hadoop /tony

bin/hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.5.0-cdh5.2.1.jar grep /tony/hadoop /tony/test-mr2 'dfs[a-z.]+' 

[root@master hadoop]# hadoop fs -cat /tony/test-mr2/part-r-00000
14/12/31 16:16:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
6       dfs.audit.logger
4       dfs.class
3       dfs.server.namenode.
2       dfs.period
2       dfs.audit.log.maxfilesize
2       dfs.audit.log.maxbackupindex
1       dfsmetrics.log
1       dfsadmin
1       dfs.servers
1       dfs.namenode.name.dir
1       dfs.file
1       dfs.datanode.data.dir

Yarn: http://master:8080

NN: http://master:50070

到这里，hadoop集群的基础服务就可以使用了