2014年09月_clamaa

原创 hadoop中的一次集群任务执行超时问题查找过程

问题背景本次进行一个项目的重构，在某些活动数据量比较大的情况下，会偶尔出现1200s超时的情况，如下： AttemptID:attempt_1410771599055_11709_m_000033_0 Timed out after 1200 secs 而hadoop会不断启动备份任务进行重试，重试也许成功，但失败的概率还是比较大： ...

2014-09-28 11:47:05 359

原创 hadoop Partiton中的字符串Hash函数改进

最近的MapReduce端的Partition根据map生成的Key来进行哈希，导致哈希出来的Reduce端处理任务数量非常不均匀，有些Reduce端处理的数据量非常小（几分钟就执行完成，而最后的part-结果显示其输出文件为0，没有处理任何任务），而有些Reduce端需要执行大量的任务（大概1个多小时）根据下面的这篇大牛所写的文章，字符串hash算法也有很多种： https...

2014-09-26 22:25:28 88

原创设计模式－访问者(Visitor)模式

访问者模式是对象的行为模式。访问者模式的目的是封装施加在某种数据结构元素上的操作。一旦一些操作需要修改，接受这个操作的数据结构可以保持不变。个人觉得访问者模式相对其他的设计模式来说稍微复杂，难理解一点，要理解这个模式首先需要了解“单分派与多分派”。单分派与多分派根据对象的类型对执行方法进行选择，就是分派（Dispatch）。分派是面向对象语言提供的关键特性之一，根据分派...

2014-09-21 20:34:29 95

原创 Hadoop Map/Reduce的工作流

问题描述我们的数据分析平台是单一的Map/Reduce过程，由于半年来不断地增加需求，导致了问题已经不是那么地简单，特别是在Reduce阶段，一些大对象会常驻内存。因此越来越顶不住压力了，当前内存问题已经是最大的问题，每个Map占用5G，每个Reduce占用9G！直接导致当数据分析平台运行时，集群处于资源匮乏状态。因此，在不改变业务数据计算的条件下，将单一的Map/Reduce过...

2014-09-18 22:07:35 131

原创 JNI的一个简单实例

本例子使用的操作系统MacOS, 64位JVM。 JNI编写的几个步骤如下：编写Java代码，并注明native方法： public class HelloJni { public native void displayHelloJni(); public static void main(String[] args) { ...

2014-09-16 21:43:34 84

原创准确计算Java中对象的大小

由于在项目中需要大致计算一下对象的内存占用率（Hadoop中的Reduce端内存占用居高不下却又无法解释），因此深入学习了一下如何准确计算对象的大小。使用system.gc()和java.lang.Runtime类中的freeMemory(),totalMemory(),maxMemory()这几个方法测量Java对象的大小，这种方法的优点是数据类型大小无关的，不同的操作系统，都可以...

2014-09-05 22:56:28 341

原创 combiner中使用状态模式

mapreduce中的combine过程 hadoop的map过程执行完成后，每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，减少在map和reduce节点之间的数据传输量，提高网络I/O性能。 Combiner最基本的就是实现本地key的聚合，对map输出的key 排序，value进行迭代。Combiner在本质上就是一个本...

2014-09-02 13:38:42 161

原创 Maven assembly插件进行自定义构建

众所周知，Maven是一个约定优于配置的java构建工具，通常我们只需要定义非常少的内容，就可以根据package标签属性来构建生成的jar, war包的相关内容。如果想要对maven中依赖的内容一起打包，就需要使用maven-assembly-plugin来实现，对于该插件，其基本的配置如下： <plugin> <artifactId&g...

2014-09-01 11:01:25 90

clamaa的专栏