hadoop_on_glusterfs

最新推荐文章于 2023-12-29 01:50:24 发布

ensong_xu

最新推荐文章于 2023-12-29 01:50:24 发布

阅读量1.9k

点赞数

分类专栏：文件系统文章标签： hadoop 存储

本文链接：https://blog.csdn.net/xuensong520/article/details/46831247

版权

本文介绍了如何在Hadoop集群上整合GlusterFS作为存储解决方案，提供Hadoop与GlusterFS的兼容性，消除集中式元数据节点，并确保MapReduce应用的无缝对接。详细步骤包括节点分布、配置文件修改、时间同步等，最终通过测试任务验证了配置的正确性和GlusterFS的运行效果。

摘要由CSDN通过智能技术生成

Hadoop On GlusterFS

Author By esxu

2015.07.09

概述

GlusterFS为Apache Hadoop提供了兼容性，它使用Hadoop中的标准文件系统API为Hadoop的部署提供新的存储选项。现有的基于MapReduce的应用程序可以使用GlusterFS无缝连接。

提供Hadoop的范围内同时基于文件和基于对象的访问
消除了集中的元数据节点
兼容原有MapReduce程序，无需重写
提供容错文件系统

安装配置

这里以Cloudera的版本为例，GLusterfs支持多个Hadoop版本。Hadoop的安装配置这里不做说明，默认已经存在一个可用的Hadoop集群。

节点分布

主节点：

IP：11.11.11.205

HOSTNAME:jobsub-138-015

计算节点4个：

IP：11.11.11.205

HOSTNAME:jobsub-138-015

IP：11.11.11.207

HOSTNAME:jobsub-138-017

IP：11.11.11.208

HOSTNAME:jobsub-138-018

IP：11.11.11.209

HOSTNAME:jobsub-138-019

这里目的是配置glustefs文件系统，替换原Hadoop的分布式存储HDFS,过程如下：

修改配置文件

主要修改三个配置文件：core-site.xml、yarn-site.xml、mapred-site.xml

Edit core-site.xml

<configuration>
<property>
<name>fs.glusterfs.impl</name>  
<value>org.apache.hadoop.fs.glusterfs.GlusterFileSystem</value>  
</property>  
<property>
<name>fs.default.name</name>          
<value>glusterfs:///</value>                   
</property>
<property>
<name>fs.glusterfs.mount</name>          
<value>/mnt/glusterfs</value>                   
</property>
<property>
<name>fs.AbstractFileSystem.glusterfs.impl</name>          
<value>org.apache.hadoop.fs.local.GlusterFs</value>                   
</property>
<property>
<name>fs.glusterfs.volumes</name>          
<value>volume6</value>                   
</property>
<property>
<name>fs.glusterfs.volume.fuse.volume6</name>          
<value>/mnt/glusterfs</value>                   
</property>
<property>
<name>gluster.daemon.user</name>
<value>hadoop</value>