JobTracker HA CDH4.2(完整版)

最新推荐文章于 2022-09-07 15:38:08 发布
最新推荐文章于 2022-09-07 15:38:08 发布
阅读量1k 收藏
点赞数
分类专栏： hadoop2.0

CDH4 HA搭建手册V1.2

 

一、           机器情况

ocdata17

10.1.253.27

ocdata18

10.1.253.28

ocdata19

10.1.253.29

 

我们有两台NAMENODE机器 分别部署在ocdata19和ocdata18上

我们有两台Jobtracker机器 分别部署在ocdata19和ocdata18上

同时有三台journalnode用来存储namenode元数据

 

有三台zookeeper组成的集群用来管理namenode的状态（active或者standby）

当active的namnode出现问题时，standby节点立刻投入使用

 

有一台datanode节点，部署在ocdata17上

有一台tasktracker节点，部署在ocdata17上

 

 

二、           HDFS部署文档

1.建立用户

   每台机器 登录root 用户 

   adduser cdh4ha;

   passwd cdh4ha;  输入密码

 

2.建立ssh联接 

   登录ocdata17 

   mkdir .ssh

   ssh-keygen -t rsa –f~/.ssh/id_rsa 

   cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

   将.shh文件分发到ocdata18和ocdata19上

   并将三台机器文件夹授权  

    chmod 711 .ssh
    chmod 644 .ssh/authorized_keys

    保证三台机器无需密码即可切换用户

3.  搭建zookeeper

     上传zookeeper.

     复制conf/zoo_sample.cfg  >>>conf/zoo.cfg

     修改cfg : dataDir=/home/cdh4ha/zoodata         --zookeeper用来存放数据的位置

     添加   :     server.1=ocdata19:2898:3898          --3台zookeeper机器构建一个集群
                   server.2=ocdata17:2898:3898
                   server.3=ocdata18:2898:3898

    修改clientPort=2183

      分发zookeeper到集群。

      在各个机器中建立文件/home/cdh4ha/zoodata/myid        --myid中的数字代表当前机器在集群中的编号

      ocdata17 中输入2                                                                 --要和上面对应

      ocdata18 中输入3

      ocdata19 中输入1 

      启动每台机器的zookeeper服务

      ./bin/zkServer.sh start

      检查各个机器的启动情况 

      echo ruok | nc ocdata192181

      echo ruok | nc ocdata172181

      echo ruok | ncocdata18 2181

      如果都返回imok 则代表zookeeper搭建成功

4. 上传hadoop

a)        修改 core-site.xml 

<configuration>

 

<property>

<name>dfs.replication</name>

<value>1</value>

<description>副本数目，由于只有一个DATANODE设置为1</description>

</property>

 

<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>

 

<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

<description>mycluster下拥有两个namenode节点</description>

</property>

 

<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>ocdata19:8020</value>

<description>节点NN1的RPC地址</description>

</property>

 

<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>ocdata18:8020</value>

<description>节点NN2的RPC地址</description>

</property>

 

<property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>ocdata19:50072</value>

<description>节点NN1的HTTP地址</description>

</property>

 

<property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>ocdata18:50072</value>

<description>节点NN2的HTTP地址</description>

</property>

 

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://ocdata19:8485;ocdata17:8485;ocdata18:8485/mycluster</value>

<description>我们采用3个journalnode节点存储元数据，这是他们的IP与端口</description>

</property>

 

 

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/cdh4ha/journaldata/jn</value>

<description>journaldata的存储路径</description>

</property>

 

<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

<description>该类用来判断哪个namenode处于生效状态</description>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

 

<!--

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

 

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/cdh4ha/.ssh/id_rsa</value>

</property>

-->

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>10000</value>

</property>

 

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

<description>打开自动切换namenode的功能</description>

</property>

 

<property>

<name>ha.zookeeper.quorum</name>

<value>ocdata19:2183,ocdata17:2183,ocdata18:2183</value>

<description>3个zookeeper节点</description>

</property>

 

</configuration>

 

b)        修改slaves

 

添加一行 ocdata17
    

 

    分发hadoop到各个机器

 

5. 启动JournalNode服务

    下面的所有hadoop命令都必须以./xxx的形式执行。否则会报错。（应该和shell解释器有关）。

    进入bin目录  ./hdfs journalnode               --启动journalnode服务

    每台机器都如此执行。

    访问web页面 ocdata19:8480,ocdata17:8480,ocdata18:8480

    检查服务是否正常     --启动后可能会抛异常，没关系，格式化namenode后就好了

 

6.  启动hadoop

a)        进入ocdata19 hadoop/bin目录

          执行 ./hdfs namenode -format                  

          执行 ./hdfs zkfc -formatZK                     --在zookeeper集群中建立znode节点

          执行  ./hdfsnamenode                                     --启动namenode

 

b)        进入ocdata18 hadoop/bin目录

          执行  ./hdfsnamenode -bootstrapStandby   --主要是同步namenode元数据，最好在选举服务启动之前同步

          执行  ./hdfs namenode

    

 

c)        进入 ocdata17 hadoop/bin目录

          执行 ./hdfs datanode                                        --启动datanode

 

d)        每台NAMENODE节点都要执行以下命令启动自动选举服务

        执行  ./hdfs zkfc                                              --启动自动选举服务

 

 

     查看页面 ocdata19:50070    ocdata18:50070  应该一个处于standby状态 一个处于active状态 。并有一个datanode节点。 

 

 

 

 

 

三、           MR1部署文档

1.     上传hadoop-mr1

a)        将HDFS的core-site copy过来

b)        将HDFS的hdfs-site copy过来

c)        修改mapred-site.xml

<configuration>

 

<property>

<name>mapred.job.tracker</name>

<value>logicaljt</value>

</property>

 

<property>

<name>mapred.jobtrackers.logicaljt</name>

<value>jt1,jt2</value>

<description>Comma-separatedlist of JobTracker IDs.</description>

</property>

 

<property>

<name>mapred.jobtracker.rpc-address.logicaljt.jt1</name>

<value>ocdata19:8021</value>

</property>

 

<property>

<name>mapred.jobtracker.rpc-address.logicaljt.jt2</name>

<value>ocdata18:8022</value>

</property>

 

<property>

<name>mapred.job.tracker.http.address.logicaljt.jt1</name>

<value>ocdata19:50010</value>

</property>

 

<property>

<name>mapred.job.tracker.http.address.logicaljt.jt2</name>

<value>ocdata18:50012</value>

</property>

 

<property>

<name>mapred.ha.jobtracker.rpc-address.logicaljt.jt1</name>

<value>ocdata19:8023</value>

</property>

 

<property>

<name>mapred.ha.jobtracker.rpc-address.logicaljt.jt2</name>

<!-- RPCaddress for jt2 HA daemon -->

<value>ocdata18:8024</value>

</property>

<property>

<name>mapred.ha.jobtracker.http-redirect-address.logicaljt.jt1</name>

<!-- HTTPredirect address for jt1 -->

<value>ocdata19:50010</value>

</property>

<property>

<name>mapred.ha.jobtracker.http-redirect-address.logicaljt.jt2</name>

<!-- HTTPredirect address for jt2 -->

<value>ocdata18:50012</value>

</property>

 

<property>

 <name>mapred.task.tracker.http.address</name>

    <value>0.0.0.0:50033</value>

    </property>

<property>

 

 

<name>mapred.local.dir</name>

<value>/home/cdh4ha/mr1data</value>

</property>

 

<property>

<name>mapred.jobtracker.restart.recover</name>

<value>true</value>

</property>

<property>

<name>mapred.job.tracker.persist.jobstatus.active</name>

<value>true</value>

</property>

<property>

<name>mapred.job.tracker.persist.jobstatus.hours</name>

<value>1</value>

</property>

<property>

<name>mapred.job.tracker.persist.jobstatus.dir</name>

<value>/home/cdh4ha/mr1data/jobtracker/jobsInfo</value>

</property>

 

<property>

<name>mapred.client.failover.proxy.provider.logicaljt</name>

<value>org.apache.hadoop.mapred.ConfiguredFailoverProxyProvider</value>

</property>

 

<property>

<name>mapred.client.failover.max.attempts</name>

<value>15</value>

</property>

 

<property>

<name>mapred.client.failover.sleep.base.millis</name>

<value>500</value>

</property>

 

<property>

<name>mapred.client.failover.sleep.max.millis</name>

<value>1500</value>

</property>

 

<property>

<name>mapred.client.failover.connection.retries</name>

<value>0</value>

</property>

 

<property>

<name>mapred.client.failover.connection.retries.on.timeouts</name>

<value>0</value>

</property>

 

<property>

<name>mapred.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

 

<property>

<name>mapred.ha.zkfc.port</name>

<value>8018</value>

</property>

 

<property>

<name>ha.zookeeper.quorum</name>

<value>ocdata19:2183,ocdata17:2183,ocdata18:2183</value>

<!-- ZKensemble addresses -->

</property>

 

<property>

<name>mapred.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

 

</configuration>

2.     启动hadoop

a)        ./hadoop mrzkfc –formatZK  --在zookeeper节点上建立znode

b)        在每台jobtracker节点上执行以下命令

./hadoop jobtrackerha

./hadoop mrzkfc

c)        在ocdata17上执行

./hadooptasktracker

四、           HIVE部署

a)        将HADOOP_HOME指向mr1的文件夹。

b)        ./hiveserver2 启动hiveserver即可。

五、           测试流程

a)        进入ocdata16的bin目录下

创建文件test.py

logfile = open("org","w")

for i in range(9999999) :

for i in range(10) :

logfile.write("abc");

logfile.close();

运行python test.py

该脚本用来创建一个名为org的文件，大小在300MB左右。

 

 

b)        创建文件a.sh

for i in 1 2 3 4 5 6 7 8 9 10

do

./hadoop fs -copyFromLocal org /org${i} &

Done

用来并发上传文件10次。

运用上面两个脚本可执行如下测试用例，主要用来测试集群的稳定性

 

机器情况如下：

ocdata19 namenode(active)    jobtracker(active)   

ocdata18 namenode(standby)  jobtracker(standby)   hiveserver

ocdata17 datanode           tasktracker

 

1.      ocdata16上传文件org>>>  kill ocdata16 namenode>>>上传成功 ocdata17 变为active 后台日志开始报错提醒ocdata16 down掉>> 启动ocdata16 namenode >>ocdata16 变为standby

 

2.      ocdata16上并发上传文件10个 >>kill ocdata17 namenode >>ocdata16 namenode 变为acitve >>文件上传成功>> 启动ocdata17  namenode>>ocdata17 变为standby

 

 

3.        ocdata16上并发上传文件10个 >>kill ocdata17 journalnode >>文件上传成功>>日志开始报错提醒journalnodedown掉 >> 重启journalnode

 

4.        集成测试：

 

ocdata18 上分别部署了一台hiveserver.

 

我们创建了6 张表格，分别为table1-6

其中table1和table2 各自有1亿条数据，接下来我们通过JDBC执行下列语句

insert overwrite table table3 select t1.* from table1 t1join table2 t2 on t1.userid=t2.userid

insert overwrite table table4 select t1.* from table1 t1join table2 t2 on t1.userid=t2.userid

insert overwrite table table5 select t1.* from table1 t1 jointable2 t2 on t1.userid=t2.userid

insert overwrite table table6 select t1.* from table1 t1join table2 t2 on t1.userid=t2.userid

 

在执行的过程中 ,重启ocdata19机器。

这个操作相当于 ：

a)        Kill掉当前active的namnode

b)        Kill掉当前active的jobtracker

c)        Kill掉一个journalnode节点

d)        Kill掉一个zookeeper节点

结果：  语句顺利执行完毕。表明我们的HA集群已经可以投入基本的使用

maoxiao_jsd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH4 HA集群安装搭建手册
a95473004的博客
03-13 5550
CDH4 HA搭建手册V1.2   一、           机器情况 ocdata17 10.1.253.27 ocdata18 10.1.253.28 ocdata19 10.1.253.29   我们有两台NAMENODE机器 分别部署在ocdata19和ocdata18上 我们有两
CentOS7安装CDH（七）：CDH集群Hadoop的HA配置
yang_shibiao的博客
08-26 1401
目录 0. 相关文章链接 1.HDFS的HA配置 2. HDFS中的2个常用命令 3.Yarn的HA配置 4.Yarn中的常用命令 0. 相关文章链接 CentOS7安装CDH（一）：CentOS7系统安装 CentOS7安装CDH（二）：CentOS7各个软件安装和启动 CentOS7安装CDH（三）：CDH中的问题和解决方法 CentOS7安装CDH（四）：CDH的版...
CDH安装4-具体安装
zsj777的专栏
09-07 345
service cloudera-scm-server status /opt/cloudera/cm/lib    下添加mysql驱动 CDH 添加监控   http://cdh-dev1:7180/cmf/home 选择 添加 Cloudera Management Service JAVA环境变量配置好，但是CDH无法识别，报错NO JDK find / -name clou...
CDH4安装部署系列之一-CDH4介绍
weixin_33698043的博客
09-16 465
翻了翻自己之前写的CDH4安装部署文档，word文档有100页之多，花了不少时间写的，不能写完就丢弃了，而且抱着温故而知新的态度，于是分了几个章节整理了下，打算传到博客上来。先从CDH4的介绍开始。 Hadoop发行版本-CDH4目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Clouder...
企业级集群搭建方案建议(基于CDH )
永青技术博客
09-07 1108
集群规模取决于用户数据及应用需求，最终规划值为以下各种计算方式得出的最小集群规模的最大值・容量需求– 估算相对容易且准确– 大多数案例可以通过容量来决定集群规模・计算需求– 准确的估算计算资源只能通过小规模测试并合理估算・其他资源限制– 如用户 MapReduce 应用可能对内存等资源有特殊要求，且单节点可配置资源相对有限，则集群最小规模需满足用户此类资源要求・建议使用万兆网络或更高速度网络– 如要充分利用磁盘并行操作带宽，至少需要万兆网络。
大数据CDH集群部署文档v1.1.docx
08-13
CDH是Cloudera公司推出的基于Hadoop的分布式处理框架，提供了一个完整的解决方案，包括数据存储、数据处理、数据分析等功能。CDH集群可以处理大量数据，满足大数据时代的需求。 大数据CDH集群架构 大数据CDH集群...
cdh5.10.2 安装包.txt.7z
03-08
CDH，全称为Cloudera's Distribution Including Apache Hadoop，是由Cloudera公司提供的一个开源大数据平台，它集成了多个Apache项目，如Hadoop、HBase、Spark、Impala等，为企业提供了一套完整的数据处理和分析解决...
MapReduceV1：JobTracker处理Heartbeat流程分析
02-26
我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。这篇文章的内容，更多地主要...JobTracker与TaskTracker之间通过org.apache.hadoop.mapred.InterTrackerProtocol协议来进行通信，TaskTracker通过该接口进行远程调
MapReduceV1：Job提交流程之JobTracker端分析
02-26
MapReduceV1实现中，主要存在3个主要的分布式进程（角色）：JobClient、JobTracker和TaskTracker，我们主要是以这三个角色的实际处理活动为主线，并结合源码，分析实际处理流程。上一篇我们分析了Job提交过程中...
基于Ubuntu的Hadoop简易集群安装与配置
李元池的博客
08-19 877
基于Ubuntu的Hadoop集群安装与配置 实验环境构建 VMware Workstation 12 Pro的安装 基于Ubuntu14045的Hadoop集群安装与配置 说明 安装与配置JDK 安装SSH免密登录 进行Hadoop集群完全分布式的安装配置 验证是否配置成功 基于Ubuntu的Hadoop集群安装与配置实验的主要内容有如下几点： 1、Jdk安装：Hadoop是用Java编写的程序
hadoop-zookeeper的HA集群的搭建
weixin_30697239的博客
11-06 56
附上word文档:https://files.cnblogs.com/files/han-guang-xue/6.01hadoop-zookeeper%E7%9A%84HA%E9%9B%86%E7%BE%A4%E7%9A%84%E6%90%AD%E5%BB%BA.pdf 在搭建过程中出现了各种问题,但是还好,最终都解决掉了,其中遇见了有各种奇葩的bug 1>启动yarn-site.xml...
HiveServer2配置HA
RotKang
11-30 2238
软件环境 CentOS 6.8 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0工作原理 常规连接 HiverServer HA 配置Hive HA 前置条件先安装好Hadoop、Zookeeper vi $HIVE_HOME/conf/hi
CDH6.x企业级大数据平台搭建
01-30
本课程主要讲解在实际项目开发中，企业构建大数据平台的方案及实战。详细阐述企业级大数据平台的架构设计、机器选型、集群规划、技术选型、资源规划等技术方案。实战演练基于Cloudera Manager(CDH6)安装部署、监控管理、运营维护大数据平台的各个服务组件。从理论经验到实战演练，从设计思想到流程实施，亲力亲测，你也绝对可以。推荐进阶课程：大数据运维尖刀班
CDH页面配置HA（高可用）
qq_43688472的博客
12-02 2048
CDH页面配置HA（高可用） 集群的配置简单介绍： (1) NameNode机器： 运行 Active NameNode和 Standby NameNode 的机器配置应保持一样。 (2) 当 Active 状态的 NameNode 宕机后，需要手动切换Standby 状态的 NameNode 来继提供服务。如果要实现自动故障转移，必须依赖 ZooKeeper。 (3) JournalNode 机器：这些守护进程比较轻量级，可以部署在其他服务器上。至少需要部署 3个JoumalNode 节点， 便容忍一个节
CDH配置HA模式
yang灬仔
11-01 1852
一、CDH配置HDFS的HA模式 1、进入HDFS集群——>点击“操作”——>点击“启用High Availability” 2、进入引导界面配置nameservice名称，可以使用默认的 3、点击“继续”之后配置第二个namenode所在的机器 4、配置JournalNode进程所在的机器 5、点击“继续”之后配置...
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1424
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml &lt;configuration&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager....
cdh集群hive 启用HA
wflh323的专栏
08-12 2101
hive 在离线分析，数仓中是最常用的工具，业务人员不需要熟悉mr，编程基础就可以通过sql操作数据。hive 的性能及稳定性在生产中必须保证。hive可以通过HAPROXY进行多节点负载均衡来达到目的。 hive Metastore 开启HA 1. 进入hive服务配置， 搜索DBTokenStore，选择 org.apache.hadoop.hive.thrif...
CDH6.x HiveServer2 HA配置
蝈蝈
11-22 1844
1 CDH6.X HiveServer2 HA 官方文档 1.1 修改代理token的存储实现类 修改为org.apache.hadoop.hive.thrift.DBTokenStore 1.2 增加HiveServer2 实例 1.3 在配置中搜索到 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀） 配置如下两项 <!--默认为false，配置为true HiveServer2会动态分配客户端--> <property> <name&gt
CDH大数据平台搭建之HADOOP分布式集群搭建
qq_41924766的博客
06-09 3832
CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启
JobTracker作用
最新发布
05-31
在Apache Hadoop 1.x版本中，JobTracker是Hadoop MapReduce计算框架的中心节点，主要作用包括以下几个方面： 1. 作业调度：JobTracker负责调度和管理MapReduce作业，接收客户端提交的作业请求，并将作业分配给可用的TaskTracker节点执行。 2. 资源管理：JobTracker监控集群中所有TaskTracker节点的资源使用情况，以便有效地分配任务，防止任务过载和资源浪费。 3. 任务监控：JobTracker监控MapReduce任务的执行状态，以及TaskTracker节点的健康状况，一旦发现某个节点出现问题，JobTracker会重新分配任务到其他节点上执行。 4. 任务失败处理：JobTracker监控MapReduce任务的执行情况，一旦发现任务执行失败，会重新分配任务到其他节点上执行，以确保任务能够成功完成。 总之，JobTracker是Hadoop 1.x版本中MapReduce计算框架的核心节点，它负责作业调度、资源管理、任务监控和失败处理等任务。随着Hadoop的不断发展，JobTracker已经被YARN取代，成为Hadoop 2.x版本中的历史遗留问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值