![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 80
每天积累一点点
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce容错性分析
1. JobTracker暂无容错机制,挂掉之后,需要人工介入,重启。用户可以通过配置一些参数,以便JobTracker重启后,让所有作业恢复运行。用户配置若干参数后,JobTracker重启前,会在history log中记录各个作业的运行状态,这样在JobTracker关闭后,系统中所有数据目录(包括各种临时目录)均会被保留,待JobTracker重启之后,JobTracker转载 2013-12-17 14:23:16 · 555 阅读 · 0 评论 -
ZooKeeper 安装、配置
单机安装、配置: 安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目录如:/home/frank/ZooKeeperInstall/zookeeper-3.3.3下。 配置文件存放在/conf/目录下,将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下: # The number of mil转载 2014-01-09 17:28:13 · 479 阅读 · 0 评论 -
重新编译Hadoop2.2
1.必要的包1. yum install svn2. yum install autoconfautomakelibtool cmake3. yum install ncurses-devel4. yum install openssl-devel5. yum install gcc*2.安装maven下载apache-mav原创 2014-01-27 10:59:34 · 614 阅读 · 0 评论 -
Hadoop2.2 HA安装
hdfs-site.xml 配置:1. dfs.nameservices :配置nameservice的逻辑名称,与core-site.xml里fs.defaultFS配置的对应 dfs.nameservices mycluster2. dfs.ha.namenodes.[nameservice ID] :在nameservice中给每个原创 2014-01-27 11:14:52 · 1119 阅读 · 0 评论 -
hadoop2.2 FairScheduler UI不显示Resources
问题: 安装hadoop2.2的FairScheduler配置队列,发现web页面不显示队列的Resources org.apache.hadoop.yarn.server.resourcemanager.webapp.FairSchedulerPage生成FairScheduler的页面,其中获取队列资源Resources展示的方法在render方法中。通过org.apache.hado原创 2014-01-27 11:41:03 · 692 阅读 · 0 评论 -
hadoop2.0 公平调度器(fair-scheduler)配置
如果是第一次接触hadoop2.0版本的 Fairshare scheduler , 最好先看一下他的官方文档:http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/FairScheduler.html yarn.resourcemanager.schedul转载 2014-01-27 11:46:17 · 1973 阅读 · 0 评论 -
zookeeper javaAPI
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取,Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单,只要获取到 Zookeeper 的压缩包并解压到某个目转载 2014-05-06 18:28:04 · 542 阅读 · 0 评论 -
hadoop的balancer
其实很多人都知道hadoop自带一个hadoop balancer的功能,作用于让各个datanode之间的数据平衡.比如说node-A有100GB数据,占用磁盘99%空间;而node-B只有10GB数据占用磁盘10%空间~那么当我们以hdfs身份运行hadoop balance的时候,hadoop将会平衡这两个node之间的数据.至于多少叫做平衡,hadoop的d转载 2014-05-23 10:46:08 · 904 阅读 · 0 评论