Hadoop2.0安装步骤

Hadoop2.0安装步骤

1、hadoop2部署搭建
1. 上传Hadoop2.6.到 home目录下
2. 解压缩文件
命令：tar -zxvf hadoop-2.6.5.tar.gz

1. 配置环境
   2.1 配置 hadoop - env.sh
   命令：cd hadoop-2.6.5
   cd etc/hadoop/
   vim hadoop - env.sh

2.2 配置 core-site.xml
命令：vim core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://name</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node01:2181,node02:2181,node03:2181</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop2</value>
</property>
2.3 配置 hdfs-site.xml
<property>
  <name>dfs.nameservices</name>
  <value>name</value>
</property>
<property>
  <name>dfs.ha.namenodes.shsxt</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.shsxt.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.shsxt.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.shsxt.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.shsxt.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <!-- 指定namenode元数据存储在journalnode中的路径 -->
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/shsxt</value>
</property>
<property>
    <!-- 指定HDFS客户端连接active namenode的java类 -->
    <name>dfs.client.failover.proxy.provider.shsxt</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvi
der</value>
</property>
<property>
 <!-- 配置隔离机制为ssh 防止脑裂 -->
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
    <!-- 指定秘钥的位置 -->
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_dsa</value>
</property>
<property>
    <!-- 指定journalnode日志文件存储的路径 -->
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop2/data</value>
</property>
<property>
<!-- 开启自动故障转移 -->
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>

1. 配置 hadoop中的 slaves
   命令：vim slaves

2. 准备 zookeeper
   4.1上传到 、home目录下
   解压：tar -zxvf zookeeper-3.4.6.tar.gz
   4.2 进入到 zookeeper
   命令：cd zookeeper-3.4.6
   cd conf/
   创建 conf 文件
   mv zoo_sample.cfg zoo.cfg
   进入conf 文件
   vim zoo.cfg
   修改dataDir=/opt/zookeeper

在最后另起一行添加：
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888
最后在dataDir目录中创建一个myid的文件，文件内容分别为1，2，3

命令：vim myid 在文件输入一个 1（每个虚拟机上都要有，分别是1，2，3）

4.3 配置环境变量
命令：vim ~/.bash_profile

export HADOOP_HOME=/home/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export ZOOKEEPER_HOME=/home/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

发送环境变量：scp -r ~/.bash_profile node02:/root/
scp -r ~/.bash_profile node03:/root/
命令生效： source ~/.bash_profile node02:/root/

发送zookeeper: scp -r zookeeper-3.4.6 node02:/home/
scp -r zookeeper-3.4.6 node03:/home/
发送hadoop： scp -r hadoop-2.6.5 node02:/home/
scp -r hadoop-2.6.5 node03:/home/
5. 启动 zookeeper
命令：zkServer.sh start （三台都要启动 要先关闭防火墙）
查看状态：zkServer.sh status
6. 启动三个JournalNode：hadoop-daemon.sh start journalnode

1. 在其中一个namenode上格式化：hdfs namenode -format
2. 把刚刚格式化之后的元数据拷贝到另外一个namenode上
   启动刚刚格式化的namenode : hadoop-daemon.sh start namenode
   在没有格式化的namenode上执行：hdfs namenode -bootstrapStandby
   启动第二个namenode hadoop-daemon.sh start namenode
3. 在其中一个namenode上初始化zkfc：hdfs zkfc -formatZK
4. 停止上面节点：stop-dfs.sh
   11.全面启动：start-dfs.sh
5. yarn-daemon.sh start resourcemanager (yarn resourcemanager)