hadoop_on_glusterfs

原创 2015年07月10日 15:18:46

Hadoop On GlusterFS


Author By esxu

2015.07.09

概述

GlusterFS为Apache Hadoop提供了兼容性,它使用Hadoop中的标准文件系统API为Hadoop的部署提供新的存储选项。现有的基于MapReduce的应用程序可以使用GlusterFS无缝连接。

  • 提供Hadoop的范围内同时基于文件和基于对象的访问
  • 消除了集中的元数据节点
  • 兼容原有MapReduce程序,无需重写
  • 提供容错文件系统

安装配置

这里以Cloudera的版本为例,GLusterfs支持多个Hadoop版本。Hadoop的安装配置这里不做说明,默认已经存在一个可用的Hadoop集群。

节点分布

主节点:

IP:11.11.11.205

HOSTNAME:jobsub-138-015


计算节点4个:

IP:11.11.11.205

HOSTNAME:jobsub-138-015

IP:11.11.11.207

HOSTNAME:jobsub-138-017

IP:11.11.11.208

HOSTNAME:jobsub-138-018

IP:11.11.11.209

HOSTNAME:jobsub-138-019

这里目的是配置glustefs文件系统,替换原Hadoop的分布式存储HDFS,过程如下:

修改配置文件

主要修改三个配置文件:core-site.xml、yarn-site.xml、mapred-site.xml

  • Edit core-site.xml

    <configuration>
    <property>
    <name>fs.glusterfs.impl</name>  
    <value>org.apache.hadoop.fs.glusterfs.GlusterFileSystem</value>  
    </property>  
    <property>
    <name>fs.default.name</name>          
    <value>glusterfs:///</value>                   
    </property>
    <property>
    <name>fs.glusterfs.mount</name>          
    <value>/mnt/glusterfs</value>                   
    </property>
    <property>
    <name>fs.AbstractFileSystem.glusterfs.impl</name>          
    <value>org.apache.hadoop.fs.local.GlusterFs</value>                   
    </property>
    <property>
    <name>fs.glusterfs.volumes</name>          
    <value>volume6</value>                   
    </property>
    <property>
    <name>fs.glusterfs.volume.fuse.volume6</name>          
    <value>/mnt/glusterfs</value>                   
    </property>
    <property>
    <name>gluster.daemon.user</name>
    <value>hadoop</value>
    </property>
    </configuration>
    

参数说明:volume6为我们创建的卷名,/mnt/glusterfs为各个计算节点挂载的路径,所有计算节点必须保持挂载路径一致,否则会出错。以上内容为支持glusterfs必须要修改或增加的配置项,其他原先配置文件中的内容如对默认配置做过修改,可再继续添加相应内容。

  • Edit yarn-site.xml

    <configuration>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
    
    <property>
    <description>List of directories to store localized files in.</description>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///var/lib/hadoop-yarn/cache/${user.name}/nm-local-dir</value>
    </property>
    <property>
    <description>Where to store container logs.</description>
    <name>yarn.nodemanager.log-dirs</name>
    <value>file:///var/log/hadoop-yarn/containers</value>
    </property>
    <property>
    <description>Where to aggregate logs to.</description>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>glusterfs:///home/hadoop/hadoop-logs/hadoop-yarn/apps</value>
    </property>
    <property>
    <name>yarn.application.classpath</name>
    <value>/usr/lib/hadoop-yarn/lib/*,/usr/lib/hadoop-yarn/*,/usr/lib/hadoop/lib/*,/usr/lib/hadoop/*,/usr/lib/hadoop-mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*</value>
    </property>
    
    <property>
    <name>mapreduce.jobtracker.address</name>
    <value>11.11.11.205</value>
    
    </property>
    
    <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp/hadoop-yarn/staging</value>
    
    </property>
    
    <property>    
    
    <name>yarn.nodemanager.container-executor.class</name>
    <value>org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor</value>
    
    </property>
    
    <property>
    
    <name>yarn.nodemanager.linux-container-executor.group</name>
    <value>hadoop</value>
    
    </property>
    
    <property>
    <name>yarn.nodemanager.delete.debug-delay-sec</name>
    <value>6000</value>
    </property>
    
    <property>
    <name>yarn.log.server.url</name>
    <value>http://11.11.11.205:19888/jobhistory/logs</value>
    </property>
    <property>  
    <name>yarn.resourcemanager.hostname</name>  
    <value>jobsub-138-015</value>  
    </property>  
    </configuration>
    

在每个slave节点上需要添加下面参数,主节点上不需要添加,这里一定要写hosname,而不是IP地址

    <property>
    <name>yarn.nodemanager.hostname</name>
    <value>$LOCAL_HOSTNAME</value>
    </property>

    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>$MASTER_HOSTNAME</value>
    </property>
  • Edit mapred-site.xml

    <configuration>
    <property>
    <name>mapred.system.dir</name>  
    <value>glusterfs:///mapred/system</value>  
    
    </property>  
    
    <property>
    
    <name>mapred.jobtracker.system.dir</name>
    
    <value>glusterfs:///mapred/system</value>
    </property>
    
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    
    <property>
    
    <name>mapreduce.jobtracker.system.dir</name>
    
    <value>glusterfs:///mapred/system</value>
    </property>
    
    <property>
    <name>mapreduce.application.classpath</name>
    <value>/usr/lib/hadoop-yarn/lib/*,/usr/lib/hadoop-yarn/*,/usr/lib/hadoop/lib/*,/usr/lib/hadoop/*,/usr/lib/hadoop-mapreduce/*,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,$HADOOP_MAPRED_HOME/lib/*</value>
    </property>
    <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>glusterfs:///mr_history/done</value>
    </property>
    <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>glusterfs:///mr_history/tmp</value>
    </property>
    <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>glusterfs:///tmp/hadoop-yarn/staging</value>
    </property>
    </configuration>
    

以上为基本配置,修改完后glusterfs可正常工作,其他关于mapreduce任务运行相关的优化参数可在次基础上进行添加,这里不做过多说明。

时间同步

同步每个节点上的时间,必须保持集群中所有节点时间严格同步,否则提交任务时会报错

ntpdate ntp_server_ip

时间不同步导致任务报错信息:

15/06/29 16:09:39 INFO mapreduce.Job:  map 0% reduce 0%
15/06/29 16:09:39 INFO mapreduce.Job: Job job_1435221905667_0006 failed with state FAILED due to: Application application_1435221905667_0006 failed 2 times due to AM Container for appattempt_1435221905667_0006_000002 exited with  exitCode: -1000 due to: Resource glusterfs:/tmp/hadoop-yarn/staging/hadoop/.staging/job_1435221905667_0006/job.jar changed on src filesystem (expected 1435565206000, was 1435565211000
.Failing this attempt.. Failing the application.
15/06/29 16:09:39 INFO mapreduce.Job: Counters: 0
java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:838)
at org.apache.hadoop.fs.TestDFSIO.runIOTest(TestDFSIO.java:443)
at org.apache.hadoop.fs.TestDFSIO.writeTest(TestDFSIO.java:425)
at org.apache.hadoop.fs.TestDFSIO.run(TestDFSIO.java:755)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
at org.apache.hadoop.fs.TestDFSIO.main(TestDFSIO.java:650)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:72)
at org.apache.hadoop.util.ProgramDriver.run(ProgramDriver.java:145)
at org.apache.hadoop.test.MapredTestDriver.run(MapredTestDriver.java:118)
at org.apache.hadoop.test.MapredTestDriver.main(MapredTestDriver.java:126)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
  • 插件上传

Glusterfs能在hadoop上正常工作,完全依赖于此插件。可前往页面进行下载最新版本的插件

http://rhbd.s3.amazonaws.com/maven/index.html

将jar包拷贝到/home/hadoop/hadoop2/share/hadoop/common/lib/目录下即可。

  • 启动服务

这里只需要启动Resourcemanager和nodemanager服务即可,Namenode和datanode这2个角色已不存在。在主节点上执行:

start-yarn.sh

即可启动整个集群服务。

  • 测试任务

这里执行一个terasort任务

time hadoop jar /home/hadoop/hadoop2/share/hadoop/mapreduce1/hadoop-examples-2.5.0-mr1-cdh5.3.2.jar  teragen -Dmapreduce.job.maps=180 200000000 /TeraSort/input_files

time hadoop jar /home/hadoop/hadoop2/share/hadoop/mapreduce1/hadoop-examples-2.5.0-mr1-cdh5.3.2.jar  terasort  /TeraSort/input_files  /TeraSort/output_files

先生成数据,再对数据进行处理,这里包括了map和reduce两个阶段,测试通过。

  • HDFS&&GlusterFS

我们希望任务在执行的过程中输入数据从HDFS上读取,同时将最终计算结果输出到GlusterFS上,可以通过下面的方式来实现

time hadoop jar /home/hadoop/hadoop2/share/hadoop/mapreduce1/hadoop-examples-2.5.0-mr1-cdh5.3.2.jar terasort   hdfs://11.11.11.205:8020/TeraSort/input_files  file:///mnt/glusterfs/TeraSort/output_files

这里直接将任务结果输出到本地,而实际上这并非是本地目录,而是挂载的Glusterfs文件系统,这就实现了将结果数据输出到GlusterFS上。这里需要注意的是必须保证每个计算节点均挂载了GlusterFS文件系统,且挂载目录统一为/mnt/glusterfs,因每个map执行完是直接写入到GlusterFS上的,如果分配到map的计算节点本地未挂载/mnt/glusterfs目录,将无法找到输出路径。

GlusterFS常用命令小结

转自:http://blog.chinaunix.net/uid-22166872-id-4347579.html 1.       启动/关闭/查看glusterd服务 # /etc/i...
  • cnhome
  • cnhome
  • 2017年02月10日 15:55
  • 207

基于 GlusterFS 实现 Docker 集群的分布式存储

以 Docker 为代表的容器技术在云计算领域正扮演着越来越重要的角色,甚至一度被认为是虚拟化技术的替代品。企业级的容器应用常常需要将重要的数据持久化,方便在不同容器间共享。为了能够持久化数据以及共享...

Hbase+GlusterFS可行性

通过测试时证明:在分布式模式下GlusterFs可以代替hadoop的HDFS,作为Hbase的底层数据存储。            配置过程如下:                       首...
  • lin_FS
  • lin_FS
  • 2012年04月18日 15:32
  • 3235

GlusterFS将与Hadoop兼融

大数据需要大文件系统,这就是开放源码的 GlusterFS 文件系统在即将发布的GlusterFS 3.3版本的设计目标。 Gluster 项目在本周出了GlusterFS 3.3的第二个测试版本,...

hadoop on demand安装指南

  • 2012年09月07日 09:38
  • 21KB
  • 下载

nutch on hadoop 遇到 ls: 无法访问data/segments: 没有那个文件或目录

在将nutch部署在hadoop上运行的时候,

HOD(hadoop on demand)的基本安装

  • 2013年01月15日 00:06
  • 248KB
  • 下载

Hadoop HA on Yarn——集群配置

集群搭建 因为服务器数量有限,这里服务器开启的进程有点多: 机器名   安装软件   运行进程   hadoop001    Hadoop,Zookeeper   NameNo...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop_on_glusterfs
举报原因:
原因补充:

(最多只允许输入30个字)