Hadoop Ozone 0.5.0-beta 集群搭建超级详细教程

Hadoop Ozone 0.5.0-beta 集群搭建超级详细教程

Hadoop Ozone 0.5.0-beta 集群搭建超级详细教程

之前写过对于ozone的理解和单节点的搭建,感兴趣的朋友们可以冲冲!
Hadoop Ozone 0.5.0-beta 单节点搭建超级详细教程
集群的搭建和单节点大同小异,不同的地方只有配置文件ozone-site.xml不一样,可跳过前面基础的部分


老样子,让我们直接切入正题

前期准备

  1. 准备三台Linux远程服务器
  2. 均安装Java JDK:
    这里我就不多说啦,链接: Linux安装JavaJDK.

下载ozone

我参考的官方文档:
https://cwiki.apache.org/confluence/display/HADOOP/Single+Node+Deployment
https://hadoop.apache.org/ozone/downloads/

进入官网:
https://hadoop.apache.org/ozone/
选择要下载的版本:
在这里插入图片描述
我选择的是 0.5.0-beta 版本(用蓝色笔标出了哦)
(为了使用方便建议将source也一起下载)
这里也有直接下载地址(0.5.0-beta 版本):
http://us.mirrors.quenda.co/apache/hadoop/ozone/ozone-0.5.0-beta/hadoop-ozone-0.5.0-beta.tar.gz


搭建ozone

三台服务器:XX.XX.XX.01;XX.XX.XX.02;XX.XX.XX.03
分配:
SCM&OM:XX.XX.XX.01
datanode:XX.XX.XX.01;XX.XX.XX.02;XX.XX.XX.03
(以下操作三台服务器上都需要实现,以XX.XX.XX.01为例)
连接Linux服务器,在root目录下创建目录opt

mkdir /root/opt

回到自己的电脑,打开终端将ozone安装包上传至Linux服务器:(Mac)

scp /User/hadoop-ozone-0.5.0-beta.tar root@XX.XX.XX.XX:/root/opt

这里还有输入密码,跟着提示走就可以了

接着在 Linux上操作:
进入刚刚创建的目录opt:

cd /root/opt

将上传的压缩软件包解压:

tar -xf hadoop-ozone-0.5.0-beta.tar 

为了方便操作,将ozone-0.5.0-beta改为ozone(也可以改成aaa,但是建议不要调皮!尽量改成方便分辨的名字哦)

mv ozone-0.5.0-beta ozone

进入ozone

cd ozone

ozone的配置文件都在etc/hadoop下(与Hadoop很像呀),目前来看也只需要修改一个文件ozone-site.xml
所以,让咱们来修改 etc/hadoop 目录下的ozone-site.xml文件
(SCM服务,不需要依赖其它服务,直接自身启动起来即可,为最底层服务。)
(OM服务,需要依赖SCM服务,要配置SCM的通信地址。)
(Datanode节点服务,需要依赖SCM,OM服务,二者通信地址都得配上。)

vim etc/hadoop/ozone-site.xml

按i键进入编辑模式
<configuration> </configuration>之间添加

<properties>
 <property>
 <name>ozone.enabled</name>
 <value>true</value>
 </property>

 <property>
 <name>ozone.handler.type</name>
 <value>distributed</value>
 </property>

 <property>
 <name>ozone.scm.block.client.address</name>
 <value>XX.XX.XX.01</value>
 </property>

 <property>
 <name>ozone.replication</name>
 <value>3</value>
 </property>

 <property>
 <name>ozone.scm.datanode.address</name>
 <value>XX.XX.XX.01</value>
 </property>
 
 <property>
 <name>ozone.om.address</name>
 <value>XX.XX.XX.01:9874</value>
 </property>
 
 <property>
 <name>ozone.metadata.dirs</name>
 <value>/root/opt/data/ozone</value>
 </property>
 
 <property>
 <name>ozone.scm.client.address</name>
 <value>XX.XX.XX.01</value>
 </property>
 
 <property>
 <name>ozone.scm.names</name>
 <value>XX.XX.XX.01</value>
 </property>
 
 <property>
 <name>ozone.scm.datanode.id</name>
 <value>/root/opt/data/meta/node/datanode.id</value>
 </property>
</properties>

编辑完成后,按esc键退出编辑模式
输入:wq保存并退出


为了更方便操作,可以设置环境变量

vim /etc/profile

在空白的地方插入:

export OZONE_HOME=/root/opt/ozone
export PATH=$PATH:$OZONE_HOME/bin

编辑完成后,按esc键退出编辑模式
输入:wq保存并退出

source /etc/profile

查看:

ozone version

在这里插入图片描述
耶耶,安装成功!!!


在XX.XX.XX.01上依次启动scm om datanode

ozone scm --init(第一次启动时执行)
ozone --daemon start scm
ozone om --init(第一次启动时执行)
ozone --daemon start om
ozone --daemon start datanode

在XX.XX.XX.02;XX.XX.XX.03上启动datanode

ozone --daemon start datanode

停止ozone:
(说来也是奇怪希望有大佬能帮忙解答一下,关闭ozone时不能用我给的官方文档上提供的关闭方式来关闭,否则会报错,还是那种我不会解决的错误,唉~)

jps
kill 所有进程号

关于卸载或重装ozone有问题可以留言问我哦


有关一些shell操作:(更多的可以看官网哦)
https://hadoop.apache.org/ozone/docs/0.5.0-beta/shell.html
在任意一个datanode上
创建卷:

ozone sh volume create /volume

创建桶:

ozone sh bucket create /volume/bucket

上传键:

ozone sh key put /volume/bucket/keytest.txt /root/test.txt

下载键:

ozone sh key get /volume/bucket/keytest.txt /root

祝您成功鸭!!!

©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页