软件
工具:vmware 10
系统:centOS 6.5 64位
Apache Hadoop: 2.5.2 64位
Jdk: 1.7.0_75 64位
安装规划
/opt/softwares/ ************* 软件包路径
/modules/ ************* 软件安装路径
安装准备
1. 安装并配置jdk
# cd /opt/softwares/ --进入到软件包目录 # tar -zxvf jdk-7u75-linux-x64.tar.gz --解压jdk tar包 # mv jdk1.7.0_75/ /opt/modules/ --复制到软件安装目录 # vi /etc/profile --配置环境变量,在文件最后添加如下配置 export JAVA_HOME=/opt/modules/jdk1.7.0_75 # source /etc/profile --使环境变量立即生效 # java -version --检查配置 |
2. 创建用户账号
# groupadd hadoop --添加hadoop用户组 # useradd -g hadoop hadoop --添加hadoop用户并添加到hadoop组中 # passwd hadoop --为hadoop用户设置密码 |
安装hadoop
1. 解压hadoop
# tar -zxvf hadoop-2.5.2.tar.gz --解压tar包 # mv hadoop-2.5.2 /opt/modules/ --复制到安装目录 # cd /opt/modules/ # chown -R hadoop:hadoop hadoop-2.5.2 --修改用户和组 |
2. 配置环境变量
# vi /etc/profile export HADOOP_HOME=/opt/modules/hadoop-2.5.2 export PATH=$PATH:$HADOOP_HOME/bin # source /etc/profile # hadoop version --检查配置 Hadoop 2.5.2 Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r cc72e9b000545b86b75a61f4835eb86d57bfafc0 Compiled by jenkins on 2014-11-14T23:45Z Compiled with protoc 2.5.0 From source with checksum df7537a4faa4658983d397abf4514320 This command was run using /opt/modules/hadoop-2.5.2/share/hadoop/common/hadoop-common-2.5.2.jar # hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar pi 100 100 --解压后无需配置即可运行于独立模式下,例:计算π值
3. 配置SSH免密码登陆
hadoop用户下执行
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 644 authorized_keys --权限修改为rw-r-r |
4. 配置hdfs
a. 修改hadoop-2.5.2/etc/hadoop目录下配置文件
> hadoop-env.sh
# vi hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_75 --显式配置JAVA_HOME,而非使用JAVA_HOME=${JAVA_HOME} |
>core-site.xml
# vi core-site.xml <configuration> <property> --指定文件系统及主机、端口 <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
>hdfs-site.xml
# vi hdfs-site.xml <configuration> <property> --配置副本数量,默认为3,伪分布式下若不配置,则会提示副本数不足 <name>dfs.replication</name> <value>1</value> </property> </configuration> |
b. 格式化文件系统
$ mkdir -p /opt/data/hadoop/hdfs/name --创建namenode文件存储目录 $ mkdir -p /opt/data/hadoop/hdfs/data --创建datanode数据存储目录 $ vi hdfs-site.xml <property> --默认存储在/tmp/hadoop-hadoop/dfs/name目录下,清空缓存时,集群数据丢失,且无法重建,后果非常严重
$ hdfs namenode –format |
c. 启动namenode和datanode守护进程
$ ./sbin/start-dfs.sh --启动hdfs $ jps --进程查看 SecondaryNameNode |
通过访问localhost:50070访问namenode web页面
5. 启动yarn
a. 修改hadoop-2.5.2/etc/hadoop目录下配置文件
> mapred-site.xml
$ cp mapred-site.xml.template mapred-site.xml --复制模板文件,并命名为mapred-sit.xml $ vi mapred-site.xml <property> --local:本地作业运行器 classic:经典mapreduce框架 yarn:新框架 <name>mapreduce.framework.name</name> <value>yarn</value> </property> |
>yarn-site.xml
$ vi yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> |
b. 启动yarn
$ ./sbin/start-yarn.sh $ jps SecondaryNameNode |
通过localhost:8088访问ResourceManager web页面