Hadoop HA部署(QJM)

最新推荐文章于 2024-07-11 18:52:23 发布

好笨的菜鸟

最新推荐文章于 2024-07-11 18:52:23 发布

阅读量590

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/qq_38976805/article/details/89072576

版权

Hadoop 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

准备

三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003)

jdk1.8.0_151

hadoop-2.6.0-cdh5.7.0

zookeeper-3.4.6

创建hadoop用户

在三虚拟机上创建hadoop用户：

systemctl stop firewalld.service      #关闭防火墙
systemctl disable firewalld.service   #禁止防火墙开机自启
vi /etc/hostname    #修改hostname的值为hadoop001,若机器是hadoop002，则将值修改为hadoop002
reboot boot         #重启，若不重启可用使用hostname hadoop001，机器为hadoop002则 hostname hadoop002
useradd hadoop #创建hadoop用户

配置ssh免密登录

使用hadoop用户，并执行ssh秘钥生成命令(三台设备上都执行该操作)

su hadoop   #切换到hadoop用户
ssh-keygen -t rsa 
#注意：只点击回车键，不要输入其它。
#上诉命令执行成功后会在当前用户主目录下的.ssh文件夹中生成一个名id_rsa的秘钥文件和id_rsa.pub的公钥文件。可执行cd ~/.ssh 后，执行：ls  查看是否生成这两个文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  #将本机生成的免密登录的公钥添加到 authorized_keys 文件中，另外两台机器中生成公钥文件的内容同样添加到该文件中
chmod 600 ~/.ssh/* #修改该目录下所有文件权限为600。若不设置为600权限，在非root用户下，使用ssh免密登录可能会出现权限不足的提示
ssh hadoop@192.168.56.111   #测试是否成功免密登录其它机器。初次连接时，需要输入yes进行确认。

hosts文件配置

在/etc/hosts文件中将三台机器的ip添加到文件中(三台机器需要)。

配置JDK

将准备好的JDK上传到所有机器上，并在所有设备上做相同的操作

su -   #切换到root用户
mkdir /usr/java  #创建文件夹
cp -r jdk1.8.0_151 /usr/java/  #将jdk放置到创建的文件夹中
vi ~/.bash_profile   #在当前用户的profile文件中配置环境变量：export JAVA_HOME=/usr/java/jdk1.8.0_151   export PATH=$JAVA_HOME/bin:$PATH
. ~/.bash_profile    #刷新环境变量

配置ZooKeeper

#########################以下是三台设备同样的操作######################################
mkdir ~/app   #在当前用户根目录创建app文件夹，将zookeeper在该文件夹下
ln -s /home/hadoop/app/zookeeper-3.4.6 /home/hadoop/app/zookeeper  #为zookeeper创建一个软链接
vi ~/.bash_profile   #配置zookeeper环境变量，在文件中添加  export ZOOKEEPER_HOME=/home/hadoop/app/zookeeper   export PATH=$ZOOKEEPER_HOME/bin:$PATH
. ~/.bash_profile    #使配置的环境变量重新生效
mkdir ~/app/zookeeper/data  #用户存放zk的数据
cd ~/app/zookeeper/conf/    #切换到zk的配置文件目录
cp zoo_sample.cfg zoo.cfg   #将zk的配置文件模板拷贝一份，并在上面做配置修改
#dataDir=/home/hadoop/app/zookeeper/data
#server.1=hadoop001:2888:3888
#server.2=hadoop002:2888:3888
#server.3=hadoop003:2888:3888
vi zoo.cfg   #将上述4个配置内容添加到文件中，若文件中有上述任意配置，请将该配置修改为上述配置
cd ../data   #切换到zk的数据存放区

#################################单独操作############################################

echo 1 > myid  #在hadoop001中执行该命令
echo 2 > myid  #在hadoop002中执行该命令
echo 3 > myid  #在hadoop003中执行该命令

#############################三台设备同样操作######################################

zkServer.sh start   #启动zk
zkServer.sh status  #查看zk是否成功启动，注意：是在所有zk都启动成功后，执行此命令查看，出现如下信息则启动成功

或

Hadoop配置文件编辑

#############################以下操作在所有机器上保持一直########################################
cp -r hadoop-2.6.0-cdh5.7.0 ~/app/   #将hadoop程序放在当前用户主目录下的app目录下
cd ~/app   #切换到app目录
ln -s /home/hadoop/app/hadoop-2.6.0-cdh5.7.0 /home/hadoop/app/hadoop  #为hadoop程序创建软链接
vi ~/.bash_profile    #添加hadoop环境变量  export HADOOP_HOME=/home/hadoop/app/hadoop   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source ~/.bash_profile  #使添加的环境变量生效
vi ~/app/hadoop/etc/hadoop/hadoop-env.sh  #在文件添加java所在路径 export JAVA_HOME=/usr/java/jdk1.8.0_151 若该配置存在，则直接修改
cd ~/app/hadoop/etc/hadoop   #切换到hadoop的配置文件目录，修改core-size.xml、hdfs-size.xml、yarn-size.xml、mapred-site.xml、slaves五个配置文件
vi core-size.xml    #使用下面core-size.xml文件内容替换
vi yarn-size.xml    #使用下面yarn-size.xml文件内容替换
vi mapred-size.xml  #使用下面mapred-size.xml文件内容替换
vi hdfs-size.xml    #使用下面hdfs-size.xml文件内容替换
vi slaves           #使用下面slaves文件内容替换

#将上述配置文件中，指向本地文件夹的路径依次创建出来
mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp
mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/name
mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/data
mkdir -p /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/jn

hadoop-daemon.sh start journalnode  #启动journalnode节点
#验证：使用 jps 命令  显示有JournalNode进程则表示启动成功

#############################不同操作################################

#在hadoop001中执行
hdfs namenode -format  #初始化namenode，日志中出现 successfully formatted. 则表示初始化成功
scp -r /home/hadoop/app/hadoop/data/dfs/name/current hadoop@hadoop002:/home/hadoop/app/hadoop/data/dfs/name  #将hadoop001中namenode初始化的信息上传到到hadoop002中，避免hadoop002 namenode 初始化出现问题

hdfs zkfc -formatZK  #初始化zkfc
start-dfs.sh   #启动hdfs集群 namenode datanode zkfc
#使用 jps 验证  显示有NameNode DataNode DFSZKFailoverController 则表示启动成功
start-yarn.sh  #启动yarn集群
#使用 jps 验证  显示有 ResourceManager NodeManager 则表示启动成功

#在hadoop002上执行

yarn-daemon.sh start resourcemanager   #启动Standby状态的ResourceManager

#在hadoop001上执行
mr-jobhistory-daemon.sh start historyserver   #启动mr的历史服务器
#使用 jps 验证  显示有 JobHistoryServer 则启动成功。

注意：如果运行MR作业可能会报错，因为配置文件中启用了压缩，若使用的hadoop不支持压缩，则会报错。需要自行对压缩格式进行编译支持

配置文件

core-size.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--Yarn 需要使用 fs.defaultFS 指定NameNode URI -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ruozeclusterg6</value>
        </property>
        <!--==============================Trash机制======================================= -->
        <property>
                <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
                <name>fs.trash.checkpoint.interval</name>
                <value>0</value>
        </property>
        <property>
                <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>

         <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
        <property>   
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp</value>
        </property>

         <!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
        </property>
         <!--指定ZooKeeper超时间隔，单位毫秒 -->
        <property>
                <name>ha.zookeeper.session-timeout.ms</name>
                <value>2000</value>
        </property>

        <property>
           <name>hadoop.proxyuser.hadoop.hosts</name>
           <value>*</value> 
        </property> 
        <property> 
            <name>hadoop.proxyuser.hadoop.groups</name> 
            <value>*</value> 
       </property> 


      <property>
		  <name>io.compression.codecs</name>
		  <value>org.apache.hadoop.io.compress.GzipCodec,
			org.apache.hadoop.io.compress.DefaultCodec,
			org.apache.hadoop.io.compress.BZip2Codec,
			org.apache.hadoop.io.compress.SnappyCodec
		  </value>
      </property>
</configuration>

hdfs-size.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--HDFS超级用户 -->
	<property>
		<name>dfs.permissions.superusergroup</name>
		<value>hadoop</value>
	</property>

	<!--开启web hdfs -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/name</value>
		<description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>${dfs.namenode.name.dir}</value>
		<description>namenode粗放 transaction file(edits)本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/data</value>
		<description>datanode存放block本地目录（需要修改）</description>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!-- 块大小256M （默认128M） -->
	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
	<!--======================================================================= -->
	<!--HDFS高可用配置 -->
	<!--指定hdfs的nameservice为ruozeclusterg6,需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ruozeclusterg6</value>
	</property>
	<property>
		<!--设置NameNode IDs 此版本最大只支持两个NameNode -->
		<name>dfs.ha.namenodes.ruozeclusterg6</name>
		<value>nn1,nn2</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ruozeclusterg6.nn1</name>
		<value>hadoop001:8020</value>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.ruozeclusterg6.nn2</name>
		<value>hadoop002:8020</value>
	</property>

	<!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ruozeclusterg6.nn1</name>
		<value>hadoop001:50070</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.ruozeclusterg6.nn2</name>
		<value>hadoop002:50070</value>
	</property>

	<!--==================Namenode editlog同步 ============================================ -->
	<!--保证数据恢复 -->
	<property>
		<name>dfs.journalnode.http-address</name>
		<value>0.0.0.0:8480</value>
	</property>
	<property>
		<name>dfs.journalnode.rpc-address</name>
		<value>0.0.0.0:8485</value>
	</property>
	<property>
		<!--设置JournalNode服务器地址，QuorumJournalManager 用于存储editlog -->
		<!--格式：qjournal://<host1:port1>;<host2:port2>;<host3:port3>/<journalId> 端口同journalnode.rpc-address -->
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ruozeclusterg6</value>
	</property>

	<property>
		<!--JournalNode存放数据地址 -->
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/data/dfs/jn</value>
	</property>
	<!--==================DataNode editlog同步 ============================================ -->
	<property>
		<!--DataNode,Client连接Namenode识别选择Active NameNode策略 -->
                             <!-- 配置失败自动切换实现方式 -->
		<name>dfs.client.failover.proxy.provider.ruozeclusterg6</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--==================Namenode fencing：=============================================== -->
	<!--Failover后防止停掉的Namenode启动，造成两个服务 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<property>
		<!--多少milliseconds 认为fencing失败 -->
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

	<!--==================NameNode auto failover base ZKFC and Zookeeper====================== -->
	<!--开启基于Zookeeper  -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--动态许可datanode连接namenode列表 -->
	 <property>
	   <name>dfs.hosts</name>
	   <value>/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/slaves</value>
	 </property>
</configuration>

yarn-size.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nodemanager 配置 ================================================= -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.localizer.address</name>
		<value>0.0.0.0:23344</value>
		<description>Address where the localizer IPC is.</description>
	</property>
	<property>
		<name>yarn.nodemanager.webapp.address</name>
		<value>0.0.0.0:23999</value>
		<description>NM Webapp address.</description>
	</property>

	<!-- HA 配置 =============================================================== -->
	<!-- Resource Manager Configs -->
	<property>
		<name>yarn.resourcemanager.connect.retry-interval.ms</name>
		<value>2000</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 使嵌入式自动故障转移。HA环境启动，与 ZKRMStateStore 配合 处理fencing -->
	<property>
		<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
		<value>true</value>
	</property>
	<!-- 集群名称，确保HA选举时对应的集群 -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yarn-cluster</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>


    <!--这里RM主备结点需要单独指定,（可选）
	<property>
		 <name>yarn.resourcemanager.ha.id</name>
		 <value>rm2</value>
	 </property>
	 -->

	<property>
		<name>yarn.resourcemanager.scheduler.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.recovery.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
		<value>5000</value>
	</property>
	<!-- ZKRMStateStore 配置 -->
	<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk.state-store.address</name>
		<value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
	</property>
	<!-- Client访问RM的RPC地址 (applications manager interface) -->
	<property>
		<name>yarn.resourcemanager.address.rm1</name>
		<value>hadoop001:23140</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address.rm2</name>
		<value>hadoop002:23140</value>
	</property>
	<!-- AM访问RM的RPC地址(scheduler interface) -->
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>hadoop001:23130</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>hadoop002:23130</value>
	</property>
	<!-- RM admin interface -->
	<property>
		<name>yarn.resourcemanager.admin.address.rm1</name>
		<value>hadoop001:23141</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address.rm2</name>
		<value>hadoop002:23141</value>
	</property>
	<!--NM访问RM的RPC端口 -->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
		<value>hadoop001:23125</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
		<value>hadoop002:23125</value>
	</property>
	<!-- RM web application 地址 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop001:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop002:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.https.address.rm1</name>
		<value>hadoop001:23189</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.https.address.rm2</name>
		<value>hadoop002:23189</value>
	</property>

	<property>
	   <name>yarn.log-aggregation-enable</name>
	   <value>true</value>
	</property>
	<property>
		 <name>yarn.log.server.url</name>
		 <value>http://hadoop001:19888/jobhistory/logs</value>
	</property>


	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
		<discription>单个任务可申请最少内存，默认1024MB</discription>
	 </property>

  
  <property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>2048</value>
	<discription>单个任务可申请最大内存，默认8192MB</discription>
  </property>

   <property>
       <name>yarn.nodemanager.resource.cpu-vcores</name>
       <value>2</value>
    </property>

</configuration>

mapred-size.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 配置 MapReduce Applications -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- JobHistory Server ============================================================== -->
	<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop001:10020</value>
	</property>
	<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop001:19888</value>
	</property>

<!-- 配置 Map段输出的压缩,snappy-->
  <property>
      <name>mapreduce.map.output.compress</name> 
      <value>true</value>
  </property>
              
  <property>
      <name>mapreduce.map.output.compress.codec</name> 
      <value>org.apache.hadoop.io.compress.SnappyCodec</value>
   </property>

</configuration>

slaves

hadoop001
hadoop002
hadoop003

好笨的菜鸟

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Hadoop HA部署(QJM)

准备三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003) jdk1.8.0_151 hadoop-2.6.0-cdh5.7.0 zookeeper-3.4.6创建hadoop用户在三虚拟机上创建hadoop用户：systemctl stop firewalld.s...
复制链接

扫一扫

专栏目录