Hadoop2.6.0 HDFS HA+YARN 部署

最新推荐文章于 2024-11-06 17:41:23 发布
最新推荐文章于 2024-11-06 17:41:23 发布
阅读量79 收藏
点赞数
文章标签： 大数据 运维 开发工具
原文链接：https://segmentfault.com/a/1190000007653668
版权

0.环境搭建准备

  • 实体机Win7 64位

  • SSH Secure Shell Client

  • Centos 6.5 版本

  • Hadoop 2.6.0 版本（编译后64位）

  • OpenJdk1.7.0

注：jdk的安装方法有三种，具体参照http://blog.csdn.net/u0114142...

1.实验环境

IP hostname role
192.168.47.131 hadoop1 ActiveNameNode
192.168.47.132 hadoop2 StandByNameNode
192.168.47.133 hadoop3 DataNode1
192.168.47.134 hadoop4 DataNode2

2.基本配置

（注：下面的代码有的是用超级用户权限才能执行，所以遇到权限不够的时候，代码前面加上sudo,将自己当前用户变为超级用户的方法比较简单，就不多说了，也可以使用root权限，但比较费事。）

2-1 网络配置

物理地址
hadoop1 00:0C:29:4E:45:5B
hadoop2 00:50:56:28:02:B1
hadoop3 00:50:56:3F:4C:59
hadoop4 00:50:56:3C:D1:7D
1.查看虚拟机物理地址 设置—网络适配器—高级—Mac地址 如下图：
图片描述

PS:每次复制完虚拟机后，它们物理地址都相同，按下生成，即可生成新的物理地址，这样可以保证每一台虚拟机的物理地址不同，防止后面网络配置出错。

2.进行eth0配置

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改硬件地址
并加入以下三行

IPADDR=192.168.47.131
NETMASK=255.255.255.0
GATEWAY=192.168.47.2

观察下面两项，改成如下设置

ONBOOT=yes
BOOTPROTO=none

3.配置DNS

vim /etc/resolv.conf

输入nameserver 192.168.47.2 即网关（也可以参照其他资料上设置，最终连上网就行）
保存后，输入

service iptables stop

考虑到后面节点的启动，也可以将防火墙设置为永久关闭,命令如下：

chkconfig iptables off

如果还是没连接，输入

service network restart

4.修改主机名
编辑系统文件

vim  /etc/sysconfig/network

在里面添加下面语句（根据实际修改）

HOSTNAME=hadoop1

5.配置hosts文件

vim /etc/hosts
192.168.47.131  hadoop1
192.168.47.132  hadoop2
192.168.47.133  hadoop3
192.168.47.134  hadoop4

网络配置这里比较重点，网上有很多方法，个人觉得这种方法算是比较简单易行的，整体虚拟机网络设置为dhcp，即自动获取，这样可以保证虚拟机和外网互通，建议可以在windows和虚机间ping一下，检查是否联网，之后在几台虚拟机上设置静态Ip,可以ifconfig一下，检查是否设置成功。

2-2 SSH免密码登录

1.安装SSH:

yum install openssh-clients

图4

如果输入yum install ssh可能会报错，报错如下
图片描述

ssh安装成功界面
图片描述

3.修改SSH配置文件

vim  /etc/ssh/sshd_config

修改成如下图(其实就是把前面 ‘#’ 删除即可)
图片描述

重启SSH:

service sshd restart

进入当前用户下，生成秘钥

cd /home/hadoop
ssh-keygen -t rsa

图片描述
一路回车
设置.ssh目录和公秘钥权限

sudo chmod 700 /home/hadoop
sudo chmod 700 -R ~/.ssh
sudo chmod 600 ~/.ssh/authorized_keys

配置本机免密码登录

cat id_rsa.pub >> authorized_keys

检验能否无密码ssh登录本机

[hadoop@hadoop1 .ssh]$ssh hadoop1

第一次登录需要回答yes，以后都不需要，可以直接登录。

注意：这里生成密钥建议在几台虚拟机克隆过后网络配置、文件配置完成后施行，免密码登录这里直接影响最后格式化及节点启动是否成功，所以笔者在最后设置，检验完免密码登录后，启动格式化。

这里我配置了activenamenode到其他几个datanode的免密码登录，即hadoop1到hadoop2、hadoop3、hadoop4的免密码登录，也可以设置双向的。

hadoop1主机免密码登录hadoop2主机

1.进入hadoop1的.ssh目录下

cd ~/.ssh

2.把authorized_keys复制到其他机器上，如节点hadoop2

scp authorized_keys hadoop@hadoop2:/home/hadoop/.ssh/temp

注意：若出现权限不足，可以root权限过去

scp authorized_keys root@hadoop2:/home/hadoop/.ssh/temp

3.进入hadoop2的.ssh目录，修改拥有者和用户组

cd ~/.ssh/
chown hadoop temp 
chgrp hadoop temp
cat temp >> authorized_keys

现在可以从hadoop1免密码登录hadoop2，在hadoop1主机上

ssh hadoop2

图片描述
成功后可以删除临时文件temp(这个临时文件不需要新建，系统自己会建）

rm temp

从hadoop2主机免密码登录到hadoop1

1.在hadoop2上执行

cd ~/.ssh
scp authorized_keys hadoop@name:/home/hadoop/.ssh/temp

在hadoop1上执行

cd ~/.ssh/
cat temp >> .ssh/authorized_keys

在hadoop2虚拟机上测试

ssh hadoop1

确定activenamenode可以免密码登录到任何一个datanode后，开始启动节点,注意最起码保证以上要求，在本例中应该最少设置hadoop1能免密码登录到hadoop2、hadoop3、hadoop4，否则会出现最后格式化的时候出现连接不上其他几台虚拟机的报错（原理嘛很简单，就是namenode会与其他几个datanode进行交互，如果设置了密码，也不可能人工输入密码，程序就会报错）。

2-3 hadoop软件安装及文件配置

2-3-1安装过程
1.解压安装包
将已下载好的hadoop-2.6.0.tar.gz 存放在hadoop用户目录下, 并解压至当前主用户目录下.

tar  -zxvf  /home/hadoop-2.6.0.tar.gz   -C  /home/hadoop/

Apache Hadoop 各个版本的下载地址：http://archive.apache.org/dis...

2.配置Hadoop的环境变量

sudo vim /etc/profile

在末尾加上以下配置,保存退出

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3.环境变量生效

sudo source /etc/profile

2-3-2 文件配置

进入到目录hadoop-2.6.0里的/etc/hadoop/目录下进行文件的配置
1.vim hadoop-env.sh
增加java和hadoop环境变量及本地库

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.121.x86_64
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

2.修改core-site.xml文件

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:8020</value>
</property>

3.修改yarn-site.xml文件

 <name>yarn.resourcemanager.address</name>
 <value>hadoop1:8032</value>
 </property>
 <property>
 <name>yarn.resourcemanager.scheduler.address</name>
 <value>hadoop1:8030</value>
 </property>
 <property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>hadoop1:8088</value>
 </property>
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>hadoop1:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.scheduler.fair.allocation.file</name>
<value>${yarn.home.dir}/etc/hadoop/fairscheduler.xml</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/yarn/local</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<description>Where to aggregate logs to.</description>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>30720</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>12</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

注意resourcemanager是哪台虚拟机，自己设定并修改配置。

4.修改mapred-site.xml文件

<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- jobhistory properties -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>

主要设置standbynamenode节点相关端口号

5.设置hdfs-site.xml文件，这是比较核心的文件，经常格式化不成功问题也出现在这里。

<name>dfs.nameservices</name>
<value>hadoop-test</value>
</property>
<property>
<name>dfs.ha.namenodes.hadoop-test</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hadoop-test.nn1</name>
<value>hadoop1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hadoop-test.nn2</name>
<value>hadoop2:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.hadoop-test.nn1</name>
<value>hadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.hadoop-test.nn2</name>
<value>hadoop2:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop2:8485;hadoop3:8485;hadoop4:8485/hadoop-test</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/hdfs/journal/</value>
</property>

可以在主目录下建立hdfs文件夹，及里面的data,name,journal三个文件夹，有时候系统也会自动生成，这点诸位可以自行尝试。

6.修改yarn-env.sh
加入java环境变量即可

7.修改slaves（即各个datanode 主机名），加入以下三行

hadoop2
hadoop3
hadoop4

8.在/home/hadoop/hadoop-2.6.0/etc/hadoop/目录下新建一个文件fairsheduler.xml

touch fairsheduler.xml

将下面的内容复制进去

<allocations>
<queue name="infrastructure">
<minResources>102400 mb, 50 vcores </minResources>
<maxResources>153600 mb, 100 vcores </maxResources>
<maxRunningApps>200</maxRunningApps>
<minSharePreemptionTimeout>300</minSharePreemptionTimeout>
<weight>1.0</weight>
<aclSubmitApps>root,yarn,search,hdfs</aclSubmitApps>
</queue>
<queue name="tool">
<minResources>102400 mb, 30 vcores</minResources>
<maxResources>153600 mb, 50 vcores</maxResources>
</queue>
<queue name="sentiment">
<minResources>102400 mb, 30 vcores</minResources>
<maxResources>153600 mb, 50 vcores</maxResources>
</queue>
</allocations>

3.验证hadoop

hadoop 启动(HDFS , YARN启动)
注意：所有操作均在Hadoop部署目录下进行。
启动Hadoop集群：

  • Step1 :在各个JournalNode节点上，输入以下命令启动journalnode服务：

    sbin/hadoop-daemon.sh start journalnode

    通过jps可以查看到启动情况

图片描述

  • Step2:在[nn1]上，对其进行格式化，并启动：

    bin/hdfs namenode –format

    观察到如下界面即为格式化成功，status为0即为成功，若为1或者其他数字则有错，请重新检查之前的步骤。

图片描述

格式化成功后，启动acivenamenode

sbin/hadoop-daemon.sh start namenode

  • Step3:在[nn2]上，同步nn1的元数据信息：

    bin/hdfs namenode -bootstrapStandby

    观察到如下图，备用节点格式化成功

图片描述

  • Step4:启动[nn2]：

    sbin/hadoop-daemon.sh start namenode

    经过以上四步操作，nn1和nn2均处理standby状态

  • Step5:将[nn1]切换为Active

    bin/hdfs haadmin -transitionToActive nn1

  • Step6:在[nn1]上，启动所有datanode

    sbin/hadoop-daemons.sh start datanode

    查看数据节点启动情况

图片描述

  • Step7:启动yarn：在[nn1]上，输入以下命令

    sbin/start-yarn.sh

    此时在activenamenode下输入jps，观察到除了NameNode进程，还有ResourceManager的进程；在datanode下输入jps，观察到除了DataNode进程，还有NodeManager的进程，这里就不截图了。

  • Step8:关闭hadoop集群：在[nn1]上，输入以下命令

    sbin/stop-dfs.sh

    图片描述

web地址访问:
192.168.47.131:50070
activenamenode
图片描述

Standbynamenode
192,168.47.132:50070
图片描述

查看datanodes信息
图片描述

在web端输入 192.168.47.131：8088即可看到yarn工作界面

看到如上界面即表示hadoop YARN环境搭建部署ok了，第一次搭建打开网页成功后，之后可能第二次格式化会出各种问题，笔者也在探索，还有后续内容喔。

weixin_33785108
关注
Hadoop2.6.5 完全分布式搭建（hdfs+mapreduce-on-yarn）
qq_22049773的博客
12-13 165
环境 linux Centos6.8 jdk1.8 zookeeper集群环境 角色预设 NN-1 NN-2 DN ZK ZKFC JNN RS NM node01 ...
搭建hadoop2.6.0 HDFS HA及YARN HA
小强签名设计 的博客
05-08 2925
最终结果： [hadoop@h41 ~]$ jps 12723 ResourceManager 12995 Jps 12513 NameNode 12605 DFSZKFailoverController [hadoop@h42 ~]$ jps 12137 ResourceManager 12233 Jps 12009 DFSZKFailoverController 119
Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装
totxian的专栏
04-24 9818
Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装
hadoop2.6.0伪分布式+spark1.6.0配置记录
o1101574955的专栏
06-01 1028
1、hdfs-site.xml文件： dfs.name.dir /spark/hadoop-2.6.0/tmp/dfs/name #只需要手动创建/spark/hadoop-2.6.0/tmp目录就好 dfs.data.dir /spark/hadoop-2.6.0/tmp/dfs/data #只需要
Hadoop 2.6.0 动态添加新节点
qq_35224503的博客
10-17 260
【代码】Hadoop 2.6.5 动态添加新节点。
hadoop2.6.0 HA + zookeeper + eclipse搭建心得
lanhaier0591的博客
01-03 291
实验环境终于搭好了，记录一下。 本机Win10，装了VMWare虚拟机，虚拟机上装了4个linux节点node1，node2，node3，node4，每个节点软件安装版本为java 1.8和hadoop 2.6.0。 集群规划如下： 主机名        安装的软件                              运行的进程 node1      jdk，hadoop，zoo
Hadoop HA + Federation + YARN HA配置实现
forever19870418的博客
03-28 828
集群规划 配置步骤 一、 前提准备 1） 安装好Hadoop2.0集群 《==参考《HA+Federation集群实现（七）》及以前的文章 2） 安装好zookeeper集群 二、 修改如下配置文件 1） yarn-site.xml 2） mapred-site.xml 3） yarn-env.sh 三、 启动服务 1） 启动HDFS 2） 启动YAR
搭建hadoop2.6.0 HA及YARN HA
小草君技术专栏
06-06 681
搭建hadoop2.6.0 HA及YARN HA
hadoop+yarn完全分布式搭建指南
weixin_54449574的博客
03-02 1352
下面是我们搭建集群需要配置的文件,我们在master上面配置好,然后分发到slave1和slave2上面,我们这次就不用单点启动,直接群起.好了,现在我们就配置完成了,但是我们只是配置了master,另外两台机器并没有配置文件,这里我们通过master将配置文件分发过去。(这两种方式只是命令的不同,单点启动已经过时,不过新的命令也只是在老命令上面做了一层封装),但是我们是不能等的,圣上的性命危在旦夕,这个时候我们就需要手动关闭。我们解压好hadoop和jdk之后,然后我们配置环境变量,
hadoop 2.6.0 安装包
06-30
- **配置Hadoop配置文件**：如`core-site.xml`、`hdfs-site.xml`、`yarn-site.xml`和`mapred-site.xml`，设置集群的相关参数。 - **格式化NameNode**：首次启动Hadoop时需要执行此操作。 - **启动Hadoop服务**：...
hadoop-eclipse-plugin2.6.0+2.7.0+2.7.1
10-12
例如，2.6.0版本可能适合于那些还在使用较早Hadoop版本的项目，而2.7.x系列则支持Hadoop 2.x的主要特性，如YARN（Yet Another Resource Negotiator），它改进了资源调度，提高了集群效率。 在实际使用中，开发人员...
hadoop-2.6.0
07-24
在实际应用中，使用Hadoop 2.6.0时，我们需要配置`hadoop-2.6.0`目录下的相关配置文件，如`core-site.xml`（核心配置）、`hdfs-site.xml`（HDFS配置）、`mapred-site.xml`（MapReduce配置）和`yarn-site.xml`（YARN...
hadoop2.6.0版本hadoop.dll和winutils.exe
05-09
在标题中提到的“hadoop2.6.0版本hadoop.dll和winutils.exe”是针对Windows环境下运行Hadoop的一些关键组件。 1. **Hadoop 2.6.0**: 这是Hadoop的一个主要版本，发布于2014年，带来了许多增强和改进。在Hadoop 2.x...
【零基础小白】 window环境下安装RabbitMQ
许苑向上
11-06 305
RabbitMQ是用编写的，因此在安装RabbitMQ之前，需要先安装Erlang环境。确定Erlang版本：根据具体需求以及安装符合的Erlang版本。本文下载的故而下载Erlang版本之间的，打开系统属性：右键点击“此电脑”或“计算机”图标，选择“属性”，然后点击“高级系统设置”。编辑环境变量：在“系统属性”窗口中，点击“环境变量”按钮。编辑Path变量：同样在“系统变量”区域，找到名为Path的变量并选择它，然后点击“编辑”按钮。
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 571
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
大数据学习10之Hive高级
最新发布
qq_64407249的博客
11-06 1202
过程：创建Maven项目，导入依赖，创建方法类，并继承响应方法类实现方法类的方法生成jar包Hive导入自定义函数jar包重新加载函数。
使用 HuggingFace 提供的 Elasticsearch 托管交叉编码器进行重新排名
Elastic 中国社区官方博客
11-05 940
它是什么为什么要使用它如何创建推理 API 并将其连接到外部服务如何使用检索器查询进行重新排名什么是语义重新排名以及如何使用它？了解在搜索和 RAG 管道中使用语义重新排名的权衡使用检索器在 Elasticsearch 中进行语义重新排名本博客包含视频演示和入门所需的所有内容的概述。Elastic 文档 - 语义重新排名这个优秀的文档指南讨论了用例、编码器模型类型和 Elasticsearch 中的重新排名本博客和随附笔记本中的代码也将帮助你入门，但我们不会深入讨论是什么和为什么。
牛客网项目总结
qq_43539664的博客
11-04 292
下面这幅图是牛客网项目的架构图，最下层是Spring Boot，表示我们所有的技术都是基于Spring Boot，上面一层是Spring，Spring上面是Spring MVC、Spring MyBatis 和 Spring Security。数据库访问的问题，通过Spring Security来管理我们项目中的安全层面的这个内容来管理我们项目中的权限，这三个技术都是基于Spring之上的。由Spring进行整合。通过Spring MVC 解决前后端请求交互的问题，通过Spring MyBatis解决。
搭建Hadoop 2.6.0+Hbase 1.12+mahout 0.9 集群教程
同时，还需要配置Hadoop的其他环境变量，如HADOOP_COMMON_HOME、HADOOP_HDFS_HOME、HADOOP_MAPRED_HOME和HADOOP_YARN_HOME，确保它们都指向Hadoop的安装位置。 安装HBase时，将其解压缩并移动到适当的位置，然后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值