2013年11月_baiyangfu

原创 hadoop2.2.0 的fairscheduler 遇到的一个问题

在使用hadoop2.2.0 的 fairscheduler的时候，出现了下面的一个问题：当多个客户端提交任务的时候，发现生成的appatempt 没有进入fairscheduler的 eventQueue，导致fairscheduler没有对该任务进行调度，而当am向scheduler请求这个作业的信息时，出现下面的问题，而且是打了很多这样的log：2013-11-27 14:27:02

2013-11-28 16:30:38 4797

转载 static class 静态类（Java）

转自： http://klcwt.iteye.com/blog/452834一般情况下是不可以用static修饰类的。如果一定要用static修饰类的话，通常static修饰的是匿名内部类。在一个类中创建另外一个类，叫做成员内部类。这个成员内部类可以静态的（利用static关键字修饰），也可以是非静态的。由于静态的内部类在定义、使用的时候会有种种的限制。所以在实际工作中用到的并

2013-11-28 11:35:53 1009

转载 hive 自带 function

hive 自带了很多函数，从网上搜集了一些，总结一下。主要的资料来源：http://www.oratea.net/?cat=15&paged=2hive 的自带函数LIKE比较: LIKE语法: A LIKE B操作类型: strings描述: 如果字符串A或者字符串B为NULL，则返回NULL；如果字符串A符合表达式B的正则语法，则为TRUE

2013-11-22 18:52:49 4279

原创 hive 优化遇到的一个问题：hive.auto.convert.join

hive的join 有一种优化的方式：map join但是，使用这种优化的时候要小心一点，先说一下优化配置的参数：set hive.optimize.correlation=trueset hive.auto.convert.join=true当运行一个比较大的join时候，出现了下面的问题：at org.apache.hadoop.hive.ql.exec.MapOperato

2013-11-21 17:29:34 16701

原创 hadoop2.0 ha failover 遇到的问题

最近在测试hadoop2.0 的ha，当failover的时候，standby namenode 会同步active namenode的edit日志。如果edit文件比较多的时候，standby namenode会频繁的访问journalnode，由于没有同步带宽没有限制，standby namenode会将journalnode的带宽占完，导致active namenode 无法访问jour

2013-11-15 20:11:27 3024

原创 hadoop2.20 和 hbase0.96 metrics 配置

hadoop-metrics:*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31*.sink.ganglia.period=10*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both*.si

2013-11-14 16:30:56 2189

原创 ganglia3.6 监控 hadoop2.2.0

既然hadoop都用了最新版本，那ganglia干脆也用最新的，下面记录一下使用ganglia3.6监控hadoop2.2.0遇到问题：ganglia3.6安装：1、编译安装gangliatar xf ganglia-3.6.0.tar.gzcd ganglia-3.6.0./configure --prefix=/usr/local/g

2013-11-14 11:45:26 2927 2

原创 hadoop2.2.0 hbase0.96 安装snappy

在hadoop2.2.0集群上安装了一下snappy，安装过程很简单，可以看一下这个博客：http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/我在这里记录一下遇到的问题，

2013-11-12 15:08:18 1798

原创 yarn fair调度器的一个问题

使用公平调度器，配置用户运行作业做大数30并发提交60个作业，发现作业一直卡着，经过分析发现是am占用了大部分资源，网上有一篇类似的文章：http://tech.uc.cn/?p=333修改am所占资源大小：-Dyarn.app.mapreduce.am.resource.mb=200 -Dyarn.app.mapreduce.am.command-opts="

2013-11-11 16:43:05 1671

原创 hadoop2.0 公平调度器（fair-scheduler）配置

如果是第一次接触hadoop2.0版本的 Fairshare scheduler ，最好先看一下他的官方文档：http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-site/FairScheduler.html yarn.resourcemanager.schedul

2013-11-01 17:21:17 8734

baiyangfu的专栏