前面说过,大数据框架最常使用的有两种一种是Apache发布的开源版本,还有一种是Cloudera公司基于Apache发布的开源版本进行优化修改升级的CDH版本。这两个版本大公司偏向于第一种,他们技术成熟,有能力自己处理开源版本中的bug,但中小型企业一般都会选择Cloudera公司发布的cdh版本,因为该公司会一直对这些版本进行优化升级,方便中小公司的使用。
这几篇博客我将会以Apache版本进行安装,它与cdh版本的安装搭建区别不大,基本相同。
在安装之前有必要说一下,其实安装搭建过程在Apache官网中有详细的介绍,需要你去解读,所以这里我会按照官网的推荐安装方式安装,在之后学习过程中,一定要学会如何使用官网上的一些学习帮助文档。
首先打开Apache Hadoop官网:(我在图片中说明)
打开分布式部署文档
我使用的是hadoop-2.7.3版本所以可以在历史版本中找到该版本对应的帮助文档,然后使用工具上传安装包到software目录下;并解压到modules目录下,然后打开hadoop-2.7.3;
hadoop中各个文件的作用以及hadoop的目录结构:
安装好之后,打开配置文件目录
[super-yong@bigdata-01 hadoop]$ ll
total 140
-rw-r--r-- 1 super-yong super-yong 4436 Aug 17 2016 capacity-scheduler.xml
-rw-r--r-- 1 super-yong super-yong 1335 Aug 17 2016 configuration.xsl
-rw-r--r-- 1 super-yong super-yong 318 Aug 17 2016 container-executor.cfg
-rw-r--r-- 1 super-yong super-yong 774 Aug 17 2016 core-site.xml
-rw-r--r-- 1 super-yong super-yong 4224 Aug 17 2016 hadoop-env.sh
-rw-r--r-- 1 super-yong super-yong 2598 Aug 17 2016 hadoop-metrics2.properties
-rw-r--r-- 1 super-yong super-yong 2490 Aug 17 2016 hadoop-metrics.properties
-rw-r--r-- 1 super-yong super-yong 9683 Aug 17 2016 hadoop-policy.xml
-rw-r--r-- 1 super-yong super-yong 775 Aug 17 2016 hdfs-site.xml
-rw-r--r-- 1 super-yong super-yong 1449 Aug 17 2016 httpfs-env.sh
-rw-r--r-- 1 super-yong super-yong 1657 Aug 17 2016 httpfs-log4j.properties
-rw-r--r-- 1 super-yong super-yong 21 Aug 17 2016 httpfs-signature.secret
-rw-r--r-- 1 super-yong super-yong 620 Aug 17 2016 httpfs-site.xml
-rw-r--r-- 1 super-yong super-yong 3518 Aug 17 2016 kms-acls.xml
-rw-r--r-- 1 super-yong super-yong 1527 Aug 17 2016 kms-env.sh
-rw-r--r-- 1 super-yong super-yong 1631 Aug 17 2016 kms-log4j.properties
-rw-r--r-- 1 super-yong super-yong 5511 Aug 17 2016 kms-site.xml
-rw-r--r-- 1 super-yong super-yong 11237 Aug 17 2016 log4j.properties
-rw-r--r-- 1 super-yong super-yong 1383 Aug 17 2016 mapred-env.sh
-rw-r--r-- 1 super-yong super-yong 4113 Aug 17 2016 mapred-queues.xml.template
-rw-r--r-- 1 super-yong super-yong 758 Aug 17 2016 mapred-site.xml.template
-rw-r--r-- 1 super-yong super-yong 10 Aug 17 2016 slaves
-rw-r--r-- 1 super-yong super-yong 2316 Aug 17 2016 ssl-client.xml.example
-rw-r--r-- 1 super-yong super-yong 2268 Aug 17 2016 ssl-server.xml.example
-rw-r--r-- 1 super-yong super-yong 4567 Aug 17 2016 yarn-env.sh
-rw-r--r-- 1 super-yong super-yong 690 Aug 17 2016 yarn-site.xml
[super-yong@bigdata-01 hadoop]$
Hadoop的环境配置:
可以看到有很多配置文件,我们需要修改hadoop的环境变量:
hadoop-env.sh 、yarn-env.sh 、mapred-env.sh 三个文件
需要修改的的是java环境变量,因为之前我们的jdk环境变量已经配置为全局变量了,但是建议配置为指定变量,原因是如果配置了全局变量,但是当你用到其他jdk版本是,由于当安装多个jdk时会出错,所以配置为指定java环境变量。
=========================================分割线==================================================
后面的配置全部按照官网介绍配置就ok了,它是按照hadoop模块进行配置的。
大家参考这个网址的步骤挨个配置就ok了:
在网页中:
配置这块有各个文件中详细的配置参数,根据你自己的要求添加配置就可以了。
也可以按照我的这篇博客配置:
Hadoop分布式集群的搭建(Apache 版本)下———配置详解