Hadoop
文章平均质量分 76
j2eelamp
这个作者很懒,什么都没留下…
展开
-
Apache Ambari安装过程(CentOS 6)
Apache Ambari Hadoop管理原创 2013-08-22 18:26:23 · 20419 阅读 · 3 评论 -
Hadoop、HBase配置Ganglia指南(metrics1)
Server端:yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd phpClient端:yum install ganglia-gmond创建RRD目录mkdir -p /var/lib/ganglia/rrdschown ganglia:ganglia /var/lib/g原创 2013-12-11 19:00:40 · 2809 阅读 · 1 评论 -
HDFS集中式缓存管理(Centralized Cache Management)
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中集中式缓存管理有着许多显著的优势:防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,原创 2014-04-30 17:31:42 · 3194 阅读 · 1 评论 -
Yarn调度器负载模拟器——Yarn Scheduler Load Simulator (SLS)
一、概述:Yarn调度器有许多实现,如Fifo, Capacity和Fair schedulers等。与其同时,正在进行一些优化措施来提高调度器在不同负载和工作场景下的性能。每个调度器都有自己的特性,调度决策受许多因素影响,如公平行、计算能力保证和资源的可靠性等。在部署一个调度算法到生产集群之前,评估一个调度算法是非常重要的,不幸的是,评估一个调度算法是不那么容易的,评估一个真正的集群是非常耗原创 2014-05-03 12:14:31 · 3898 阅读 · 0 评论 -
Hdfs的ACL测试
Hadoop从2.4.0版本开始支持hdfs的ACL,在CDH5.0当中也继承了该特性,下面对其进行一些测试:一、启用ACL:dfs.permissions.enabledtruedfs.namenode.acls.enabledtrue二、测试ACL:①[hadoop@master ~]$ groupshadoop创建目录并上传文件:[原创 2014-04-27 17:11:13 · 7120 阅读 · 0 评论