hadoop集群安装部署（高可用）

1、下载解压安装包

官网：https://hadoop.apache.org/releases.html

2、修改配置文件

hadoop-env.sh文件
export JAVA_HOME=/bigdata/jdk1.8

core-site.xml文件
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/bigdata/hadoop/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>spark01:2181,spark02:2181,spark:03:2181</value>
</property>

hdfs-site.xml文件
<!-- 指定hdfs的nameservice为ns1，需要和core-site.xml文件中保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面两个namenode，分别为nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的rpc通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>spark01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>spark01:50070</value>
</property>
<!-- nn2的rpc通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>spark02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>spark02:50070</value>
</property>
<!-- 指定namenode的元数据在journalnode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://spark01:8485;spark02:8485;spark03:8485/ns1</value>
</property>
<!-- 指定journalnode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/bigdata/hadoop/journaldata</value>
</property>
<!-- 开启namenode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方式，多个机制用换行分割 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/spark/.ssh/id_rsa</value>
</property>
<!-- 使用sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/bigdata/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/bigdata/hadoop/dfs/data</value>
</property>
<!-- 副本数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

mapred-site.xml文件
<property>
<name>mapred.local.dir</name>
<value>/bigdata/hadoop/mr</value>
</property>
<!-- map放到yarn集群中跑 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- Container [pid=18076,containerID=container_1572263370685_0004_01_000003] is running 466663936B beyond the ‘VIRTUAL’ memory limit.报错解决 -->
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>

yarn-site.xml文件
<!-- 开启rm高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定rm的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定rm的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定rm的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>spark01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>spark02</value>
</property>
<!-- 指定zookeeper集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>spark01:2181,spark02:2181,spark:03:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name> 采用哪种机制将map产生的数据传给reduce
<value>mapreduce_shuffle</value>
</property>
修改workers文件
添加节点机器

3、启动集群（按顺序执行）

启动journalnode
./sbin/hadoop-daemon.sh start journalnode
格式化hdfs文件系统，任意一个namenode即可，然后在本台机器启动NameNode
./bin/hdfs namenode -format
./sbin/hadoop-daemon.sh start namenode
同步edits文件,在另一个namenode上
./bin/hdfs namenode -bootstrapStandby
格式化zkfc
./bin/hdfs zkfc -formatZK
启动hdfs
./sbin/start-dfs.sh
启动yarn
./sbin/start-yarn.sh
也可以通过start-all.sh启动hadoop
可以通过jps查看启动的java程序