Hadoop实战之hadoop2.5.2完全分布式安装

首先到官网上下载2.5.2的tar包(官网可以直接下的tar包都是32位的，如需64位要下载src.tar.gz自行编译)

下载地址：http://hadoop.apache.org/releases.html#18+November%2C+2014%3A+Release+2.6.0+available

然后下载ZooKeeper3.4.6稳定版http://www.apache.org/dyn/closer.cgi/zookeeper/

Java环境提前配置好，不再赘述。

建立4个虚拟机分别为node1、node2、node3、node4并完成ssh免密码登陆

其中：

NameNode	node1 、node2
DataNode	node2 、node3、node4
ZooKeeper	node1 、node2、node3
JournalNode	node2 、node3、node4

将下载好的文件分别放到4个虚拟机上并解压到/opt/hadoop2

进入/opt/hadoop2/etc/目录

1、修改hadoop-env.sh找到JAVA-HOME修改成你的jdk安装目录

2、修改hdfs-site.xml添加如下内容

修改服务名(名字可以任意命名)

<property>
  <name>dfs.nameservices</name>
  <value>myhadoop</value>
</property>

配置所有NameNode的名字(注意修改<name>标签中的服务名与上面配置相同)

<property>
  <name>dfs.ha.namenodes.myhadoop</name>
  <value>nn1,nn2</value>
</property>

配置rpc协议的端口号(注意修改<name>标签中的服务名和NameNode名字与上面配置相同)

<property>
  <name>dfs.namenode.rpc-address.myhadoop.nn1</name>
  <value>node1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.myhadoop.nn2</name>
  <value>node2:8020</value>
</property>

配置http协议的端口号(注意修改<name>标签中的服务名和NameNode名字与上面配置相同)

<property>
  <name>dfs.namenode.http-address.myhadoop.nn1</name>
  <value>node1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.myhadoop.nn2</name>
  <value>node2:50070</value>
</property>

配置JournalNode的url地址(注意修改<value>标签中的服务名与上面配置相同)

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node2:8485;node3:8485;node4:8485/myhadoop</value>
</property>

配置客户端要使用的判断哪个NameNode已经激活的类(注意修改<name>标签中的服务名与上面配置相同)

<property>
  <name>dfs.client.failover.proxy.provider.myhadoop</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

拷贝sshfence(把<value>标签中的密钥改成你的密钥文件)

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/exampleuser/.ssh/id_rsa</value>
</property>

配置JournalNode的工作目录

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/jndata</value>
</property>

开启自动切换

<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

保存退出然后

3、配置core-site.xml文件

配置NameNode入口(注意修改<value>标签中的服务名与上面配置相同)因为NameNode不止一个，而你并不知道哪个NN处于激活状态，所以NN入口设置为集群服务的名字

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://myhadoop</value>
</property>

配置ZooKeeper集群

 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node1:2181,node2:2181,node3:2181</value>
 </property>

配置临时目录

 <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop2</value>
 </property>

保存退出,打开slaves文件配置DN

node2
node3
node4

4、然后将ZooKeeper的jar包解压到node1、node2、node3的/opt/zk文件夹中

进入/opt/zk/conf目录将zoo-sample.cfg文件重命名为zoo.cfg并添加

server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

根据下面属性

dataDir=/home/zookeeper

创建/home/zookeeper文件家，并创建一个文件myid，在node1上该文件中添加一个数字1,在node2上该文件中添加一个数字2，在node3上该文件中添加一个数字3

打开/etc/profile添加环境变量PATH=$PATH:ZOOKEEPKER_HOME/bin

运行source /etc/profile是改动生效

5、关闭防火墙，分别到node1、node2、node3上运行zkServer.sh start启动zookeeper

6、分别到node2 、node3、node4上/opt/hadoop2/sbin/hdfd-deamon.sh journalnode启动JournalNode

7、在其中一台NN上启动格式化，执行/opt/hadoop2/bin/hdfs namenode -formate 命令

之后进入/home/hadoop2/dfs/name/current目录下可以开到初始化之后得到的元数据

然后启动该节点/opt/hadoop2/sbin/hdfd-deamon.sh namenode

8、另一个NN,执行/opt/hadoop2/bin/hdfs namenode -bootstrapStandby拷贝元数据

之后进入/home/hadoop2/dfs/name/current目录下可以开到初始化之后得到的元数据

9、stop所有dfs服务

10、在node1上运行/opt/hadoop2/bin/hdfs zkfc -formatZK 初始化ZKFC

最后大功告成可以使用start-dfs.sh来启动整个文件系统了

配置MapReduce

1配置mapred-site.xml文件

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

2配置yarn-site.xml文件

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property

<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property