部署Hadoop集群

最新推荐文章于 2021-04-10 22:47:28 发布
最新推荐文章于 2021-04-10 22:47:28 发布
阅读量467 收藏
点赞数
分类专栏： 非关系数据库 文章标签： Hadoop Zookeeper Hbase 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Giotoolee/article/details/102255262
版权

文章目录

前言

适逢非关系数据库老师布置了课后作业，要我们搭建一个Hbase和MongoDB数据库，而我又得知Hbase可以通过集群搭建提高性能，所以我打算在自己的桌面环境下尝试一下，过程中遇到的一些问题，我会记录在这里。

环境

  • OS : Ubuntu 16.04

  • JDK : 1.8

  • Hadoop : 3.2.1

    服务器IP地址
    hadoop-master192.168.41.141
    hadoop-node01192.168.41.142
    hadoop-node02192.168.41.143

修改host文件

sudo vi /etc/hosts

加入如下几行：

192.168.41.141  hadoop-master
192.168.41.142  hadoop-node01
192.168.41.143  hadoop-node02

三台服务器的host文件都需要修改，修改之后运行命令source /etc/hosts使其生效。

配置SSH

首先需要通过创建SSH实现三台服务器之间的免密登陆。

ssh-keygen -t rsa

生成的公钥保存在～/.ssh下，此时需要把公钥放入authorized_keys，命令如下：

  cat ～/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

之后，我们应该在另外两台服务器上创建SSH，并且将自己服务器上的公钥放入Master服务器的authorized_keys里，实现三台服务器之间的免密登陆。

这里我为了方便，我直接将~/.ssh复制到了另外两台服务器的~/位置：

scp -r ~/.ssh root@hadoop-node01:~/.ssh
scp -r ~/.ssh root@hadoop-node02:~/.ssh

通过如下命令即可验证配置成功：

root@hadoop-master:/# ssh hadoop-node01
Welcome to Ubuntu 16.04 LTS (GNU/Linux 4.4.0-21-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

234 packages can be updated.
149 updates are security updates.


Last login: Mon Sep 30 11:09:53 2019 from ::1

配置Hadoop

获取Hadoop

运行命令

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.2.1-src.tar.gz

解压

tar -zxvf hadoop-3.2.1-src.tar.gz

修改配置文件

hadoop-env.sh

vi hadoop-env.sh
//添加JDK安装路径
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_221/

core-site.xml

vi core-site.xml
//添加如下配置
<configuration>
//文件系统用HDFS
<property>
<name>fs.default.name</name>
//namenode的地址
<value>hdfs://hadoop-master:9000</value>
</property>

<property>
//临时文件的存放路径
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/hdfs/tmp</value>
</property>
</configuration>

mapred-site.xml

vi mapred-site.xml

//添加如下配置
<configuration>
//配置mapreduce运行的平台，默认为local本地平台模拟运行，而不是在集群上分布式运行，只是一个单机的程序，这里配置yarn平台运行，负责分配内存
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

vi yarn-site.xml

<configuration>
//指定yarn的resourcemanager地址
<property>
<name>yarn.resourcecemanager.hostname</name>
<value>hadoop-master</value>
</property>

//reducer获取数据方式
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

//忽略虚拟内存的检查，如果是在实体机上，并且内存够多，可以去掉
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

</configuration>

hdfs-site.xml

//添加如下内容

<configuration>
//hdfs的副本数量
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

//Hadoop NameNode运行端口，在通过192.168.41.141：50070访问
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop-master:50070</value>
</property>

//存储上传数据的路径
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/data</value>
</property>

//存储namenode的路径
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/hdfs/name</value>
</property>

//设置为false可以不用检查路径
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

workers

在Hadoop:2.9.1版本中，该配置文件为slaves，但是在3.2版本中，文件更名为workers，在部署过程中，这里尤其要注意，我就是因为没有注意，在master上开启Hadoop后，Node节点上并没有相继运行datanode和nodemanager。

vi workers

//添加如下内容
hadoop-node01
hadoop-node02

部署Hadoop

将修改后的Hadoop文件夹拷贝至Node01、Node02节点上：

scp -r /root/hadoop root@hadoop-node01:/root/
scp -r /root/hadoop root@hadoop-node02:/root/

并且修改环境变量，添加如下：

vi /etc/profile

//添加如下
export HADOOP_HOME=~/hadoop/
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

启动Hadoop

执行start-all.sh启动Hadoop：

root@hadoop-master:~/hadoop/etc/hadoop# start-all.sh 
Starting namenodes on [hadoop-master]
Starting datanodes
Starting secondary namenodes [hadoop-master]
2019-09-30 19:10:07,637 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
Starting nodemanagers

在Master节点上可以通过执行jps命令查看启动的进程：

root@hadoop-master:~/hadoop/etc/hadoop# jps
20241 Jps
19857 SecondaryNameNode
126115 NodeManager
125540 DataNode
20088 ResourceManager
19626 NameNode

Node节点上：

root@hadoop-node01:~/hadoop/etc/hadoop# jps
122113 NodeManager
121974 DataNode
122942 Jps

至此，Hadoop部署成功。

可以在通过访问192.168.41.141:50070访问web页面：

web

配置Hbase

获取Hbase

wget http://mirror.bit.edu.cn/apache/hbase/2.2.1/hbase-2.2.1-bin.tar.gz

解压

tar -zxvf hbase-2.2.1-bin.tar.gz

重命名

mv hbase-2.2.1 hbase

配置环境变量

把Hbase的路径添加到环境变量中：

vi /etc/profile

//添加如下
export HBASE_HOME=/home/wang/hbase
export PATH=$HBASE_HOME/bin:$PATH

运行source /etc/profile使之生效。

修改配置文件（conf文件夹下）

hbase-env.sh

修改如下：

# The java implementation to use.  Java 1.8+ required.
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_221

# Extra Java CLASSPATH elements.  Optional.
export JAVA_CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# Where log files are stored.  $HBASE_HOME/logs by default.
export HBASE_LOG_DIR=/root/hbase/logs
# Tell HBase whether it should manage it's own instance of ZooKeeper or not.
export HBASE_MANAGES_ZK=tru

hbase-site.xml

修改如下：

<configuration>
<property>
<name>hbase.master</name>
<value>hadoop-master:6000</value>
</property>

<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop-master:9000/hbase</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

<property>
<name>hbase.tmp.dir</name>
<value>/root/hbase/tmp</value>
</property>

<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/zookeeper</value>
</property>

<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-master,hadoop-node01,hadoop-node02</value>
</property>

</configuration>

regionservers

修改如下：

hadoop-node01
hadoop-node02

部署Hbase

将修改后的Hbase文件夹拷贝至Node01、Node02节点上：

scp -r /root/hbase root@hadoop-node01:/root/
scp -r /root/hbase root@hadoop-node02:/root/

并且修改环境变量。

启动Hbase

执行start-hbse.sh启动Hbase：

root@hadoop-master:~/zookeeper# start-hbase.sh 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class
SLF4J: Found binding in [jar:file:/root/hbase/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class
SLF4J: Found binding in [jar:file:/root/hbase/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
hadoop-master: running zookeeper, logging to /root/hbase/logs/hbase-root-zookeeper-hadoop-master.out
hadoop-node02: running zookeeper, logging to /root/hbase/logs/hbase-root-zookeeper-hadoop-node02.out
hadoop-node01: running zookeeper, logging to /root/hbase/logs/hbase-root-zookeeper-hadoop-node01.out
running master, logging to /root/hbase/logs/hbase-root-master-hadoop-master.out
hadoop-node01: running regionserver, logging to /root/hbase/logs/hbase-root-regionserver-hadoop-node01.out
hadoop-node02: running regionserver, logging to /root/hbase/logs/hbase-root-regionserver-hadoop-node02.out

运行bash shell：

在这里插入图片描述
至此，集群下的Hbase搭建完成。

GiottoLee
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于Hadoop启动高可用Yarn报错问题，主机名: Starting resourcemanagers on []和Starting nodemanagers
m0_75222544的博客
11-15 1629
hadoop搭建高可用yarn集群，启动时报错，优先级问题
Hadoop启动不了resource-manager
qq_43079328的博客
12-07 1122
最初打算搭建一个单节点伪分布式hadoop,参照网上一些参考后发现用yarn 启动resource-manager启动不起来。
Hadoop3.2.1版本的环境搭建
hzp666的博客
11-24 431
最近有人提出能不能发一些大数据相关的知识，No problem ！ 今天先从安装环境说起，搭建起自己的学习环境。 Hadoop的三种搭建方式以及使用环境： 单机版适合开发调试； 伪分布式适合模拟集群学习； 完全分布式适用生产环境。 这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，两个数据节点。 先决条件 准备3台服务器 虚拟机、物理机、云上实例均可，本篇使用Openstack私有云里面的3个实例进行安装部署。 操作系统及软件版本 服务器 系统 内存 IP
hadoop安装前置步骤：重新编译hadoop
guodongtanghe的专栏
06-26 524
重新编译hadoop的原因是官方提供的包不支持一些常用的底层加密算法，使用hadoop时会报错 如图：snappy加密是不支持的，现在开始准备编译工作： 在/opt/下面创建两个文件夹software（编译用到的软件放在这里）和sourcecode（Hadoop放在这里）。 mkdir -p /opt/sourcecode /opt/software tar -xzvf hadoop-3.2.1-src.tar.gz 安装jdk。可以参考我之前的博客https://blog.csdn.net/g
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
Ambari部署Hadoop集群.doc
06-22
在使用Ambari部署Hadoop集群时，Ambari会引导用户完成各个组件的配置，包括网络设置、安全选项、存储布局等。通过Ambari，用户可以灵活地调整集群配置，满足不同业务需求。集群搭建完成后，Ambari将继续提供实时监控...
hadoop-3.2.1全分布式安装教程
qq_22610595的博客
11-23 1330
搭建hadoop全分布式集群。
hadoop3.1集成yarn ha
weixin_30296405的博客
12-26 186
1.角色分配 2.配置 cd /opt/hadoop-3.1.1/etc/hadoop 修改如下配置： 2.1配置mapred-site.xml <configuration> <!-- 指定mr框架为yarn方式 --> <property> <name>mapreduce.fr...
集群环境下启动yarn时成功启动了nodemanager，但未成功启动resourcemanager
破晓的成长之路
08-19 6426
在使用批量启动命令start-yarn.sh启动yarn集群时出错，查看日志发现如下错误： Caused by: java.net.BindException: Problem binding to [chdp02:8031] java.net.BindException: 无法指定被请求的地 址; For more details see: http://wiki.apache.org/had...
Hadoop3 yarn无法启动 （resourceManager/nodeManager）
a8131357leo的博客
07-30 9203
local：8970 可以正常运行， 但是当启动 ./sbin/start-yarn.sh jps jps上找不到 resourceManager 和 nodeManger的进程， 查询日志发现以下错误信息   resourceManager报错 Error starting ResourceManager org.apache.hadoop.yarn.webapp.WebAppExc...
hk pic.net forum.php,HC-SR04 problem with pic18f24k22.
热门推荐
weixin_32136203的博客
04-10 20万+
2021/03/26 00:11:57proestpaHello, I have a problem with HCSR04 ultrasonic distance sensor. I wrote a code that works perfectly in proteus simulator but when I uplode it in real mikrochip it stop worki...
找个到网站
10-01 899
http://rays.512j.com/index.php?action=show&bid=90
Windows Mobile系统PDA进行GPS导航的入门知识
纸上得来终觉浅，绝知此事要躬行
05-06 2673
具有指导意义d 一、可以GPS导航的PDA 现在常见的号称PDA的机型按照其使用的操作系统可以分为： 1、 采用Windows Mobile操作系统（简称WM）的PDA和PDA智能电话； 2、 采用Symbian S60系统的智能电话； 3、 采用Linux系统的智能电话； 4、 采用其他类型封闭操作系统的智能电话。 采用WM系统进行导航的PDA一般有以下几种： 1、 内置GPS模
[经典之作]vml经典之作
hubingbin的专栏
03-15 1万+
一个超级经典的vml经典之作   保存文件为vml.html   看看效果"urn:schemas-microsoft-com:vml" xmlns:o = "urn:schemas-microsoft-com:office:office> VML http-equiv=">content=nanashi7@pchome.com.tw>H3 { MARGIN-LEFT: 5%; COLOR: #
新型智慧城市项目技术方案（2283页）.pdf
最新发布
08-16
新型智慧城市项目技术方案（2283页）
openssh windows安装程序
08-16
openssh windows安装程序
docker部署hadoop集群
09-07
Docker部署hadoop集群的过程可以分为以下几个步骤： 1. 环境准备：确保你的机器已安装并启动了Docker。 2. 配置hadoop：根据你的需要，配置hadoop集群的相关参数，包括core-site.xml、hdfs-site.xml和yarn-site....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值