学习笔记:
Centos6.5搭建hadoop2.5.1,本文为single node setup,可参照
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html,
其中yarn,zookeeper,JournalNode等搭建高可用、高并发将在后续记录。
至少准备3台机器:
1. 安装JDK,JDK版本为1.7,配置环境变量
2. 修改主机名,/etc/sysconfig/network
3. 关闭防火墙,service iptables stop,chkconfig iptables off
4. 配置/etc/hosts文件
这里配置了4台机器,角色如下:
node4:namenode
node5:secondary,datanode
node6:datanode
node7:datanode
5. 配置ssh免密登录
6. 下载安装hadoop并配置
1).tar –zxvf *在namenode解压(例如,放到/home目录下)
2).配置/home/hadoop-2.5.1/etc/hadoop/hadoop-env.sh,加入JDK目录
3).配置/home/hadoop-2.5.1/etc/hadoop/core-site.xml,namenode主机名和端口、hadoop的tmp目录。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node4:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.5</value>
</property>
</configuration>
4).配置/home/hadoop-2.5.1/etc/hadoop/hdfs-site.xml,secondary的http和https主机名、端口
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node5:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>node5:50091</value>
</property>
</configuration>
5). 配置/home/hadoop-2.5.1/etc/hadoop/slaves,datanode主机名
6). 配置/home/hadoop-2.5.1/etc/hadoop/masters(该文件需自己创建),secondary主机名
7. 将hadoop配置环境变量,~/.bash_profile
export HADOOP_HOME=/home/hadoop-2.5.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8. 将~/.bash_profile和hadoop整个目录复制到所有hadoop集群机器上,source ~/.bash_profile
9. 格式化hadoop目录,hdfs namenode –format;启动hdfs,start-dfs.sh
node4:50070打开namenode的web监控页面,查看hadoop集群运行状态