hadoop
beyondlpf
这个作者很懒,什么都没留下…
展开
-
ganglia在hadoop中的配置:hadoop-metrics2.properties 以及各监控项含义
http://blog.csdn.net/ljq32/article/details/37662665 ganglia3.6.0 hadoop2.0.0-cdh4.2.0 使用 hadoop-metrics2.properties, 在文件中添加以下内容, # for Ganglia 3.6 support *.sink.ganglia.class=org.apache.had转载 2015-06-18 18:53:06 · 4402 阅读 · 0 评论 -
HDFS HA-Quorum Journal Manager
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool 1、背景 HDFS HA,即NameNode单点故障问题,一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中,介绍了HDFS的Federeation概况、配置与部署的情况,以及有关HA的相关概...原创 2015-07-06 15:56:06 · 184 阅读 · 0 评论 -
zookeeper原理(转)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zooke...原创 2015-07-06 15:54:22 · 87 阅读 · 0 评论 -
hadoop distcp 报错 Caused by: java.io.IOException: Got EOF but currentPos = xxx < filelength = xxx
我们在cdh4版本的hadoop上使用 distcp 把数据从cdh5版本的hadoop拷到cdh4,命令如下 hadoop distcp -update -skipcrccheck hftp://cdh5:50070/xxxx hdfs://cdh4/xxx 当文件非常大会有这样的报错, 2017-12-15 10:47:24,506 INFO execute.BulkLoadHb原创 2017-12-15 14:33:00 · 1743 阅读 · 0 评论 -
hadoop 2.0 bug EOFException on zero-length file
https://issues.apache.org/jira/browse/HADOOP-9692 当sequencefile 有大小为0的文件时,会报异常: sequencefile reader throws EOFException on zero-length file, stacktrace as shown: Caused by: java.io.EOFEx转载 2016-12-14 15:51:27 · 894 阅读 · 0 评论 -
zookeeper原理(转)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2015-07-13 14:59:30 · 618 阅读 · 0 评论 -
zookeeper使用和原理探究(一)
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/doc转载 2015-07-13 14:58:27 · 492 阅读 · 0 评论 -
HDFS HA-Quorum Journal Manager
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool 1、背景 HDFS HA,即NameNode单点故障问题,一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中,介绍了HDFS的Federeation概况、配置与部署的情况,以及有关H转载 2015-07-13 15:03:03 · 761 阅读 · 0 评论 -
Hadoop 设置队列计算能力调度器应用和配置
http://www.cnblogs.com/ggjucheng/archive/2012/07/25/2608817.html 需求 公司里有两个部门,一个叫hive,一个叫pig,这两个部门都需要使用公司里的hadoop集群。于是问题来了,因为hadoop默认是FIFO调度的,谁先提交任务,谁先被处理,于是hive部门很担心pig这个部门提交一个耗时的任务,影响了hive的业务转载 2015-06-08 13:48:59 · 2539 阅读 · 0 评论 -
搭建hadoop集群环境
http://blog.sina.com.cn/s/blog_62c8de540101qrea.html 搭建hadoop集群环境 本文通过在vmware workstation上建立三台虚拟机来搭建hadoop集群环境,其中一台作为namenode,两台作为datanode。 一、安装vmware workstation(10.0.0)(一路下一步即可) 二、创建3个转载 2015-06-08 12:32:22 · 547 阅读 · 0 评论 -
hadoop三个配置文件的参数含义说明
1 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到转载 2015-06-05 14:02:18 · 732 阅读 · 0 评论 -
hadoop SecondaryNameNode和NameNode
1.概述 光从字面上来理解,很容易让一些初学者先入为主的认为:SecondaryNameNode(snn)就是NameNode(nn)的热备进程。 其实不是。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好转载 2015-06-03 18:22:57 · 508 阅读 · 0 评论 -
Hadoop2.0运维管理与集群安装监控和管理
Hadoop2.0运维管理与集群安装监控和管理 时间 课程模块 内容 09:00-12:00 模块一:RedHadoop集群入门 ● Hadoop应用案例和核心思想 ● RedHadoop Enterprise安装及部署 模块二:Hadoop集群管 ● Hadoop常见使用命令 ● Hadoop运维故障及解决原创 2015-06-01 15:51:44 · 2901 阅读 · 0 评论 -
hadoop hbase metric名全解释
http://blog.csdn.net/mrtitan/article/details/8984980 系统参数监控metrics load_one 每分钟的系统平均负载 load_fifteen 每15分钟的系统平均负载 load_five 每5分钟的系统平均负载 boottime转载 2015-06-19 10:51:33 · 764 阅读 · 0 评论 -
zookeeper 入门讲解实例 转
转 http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html zookeeper使用和原理探究(一) zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的Hadoop项目中的一个子项目,并且根据google发表的<The Chubby lock service for loos...原创 2015-07-07 17:58:40 · 118 阅读 · 0 评论