自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

快乐程序员的专栏

专注于hadoop运维,大数据处理,即席查询,hadoop生态圈组件研究

转载 BloomFilter——大规模数据处理利器

Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。   一. 实例    为了说明Bloom Filter存在的重要意义,举一个实例:   假设要你写...

2013-11-15 14:28:38

阅读数 975

评论数 0

转载 Linux Cgroup详解

Cgroups是什么? Cgroups是control groups的缩写,是Linux内核提供的一种可以限制、记录、隔离进程组(process groups)所使用的物理资源(如:cpu,memory,IO等等)的机制。最初由google的工程师提出,后来被整合进Linux内核。Cgroups也...

2013-11-14 15:43:00

阅读数 3641

评论数 0

转载 大象的崛起:Hadoop七年发展风雨录

在互联网这个领域一直有这样的说法:“如果老二无法战胜老大,那么就把老大赖以生存的东西开源吧”。当年Yahoo!与Google还是处在强烈竞 争关系时候,招聘了Doug(Hadoop创始人),把Google老大赖以生存的DFS与Map-Reduce开源了,开始了Hadoop的童年时期。 差不多在20...

2013-11-11 23:29:07

阅读数 1111

评论数 0

转载 hadoop job 重要性能参数

mapred.task.profile 是否对任务进行profiling,调用java内置的profile功能,打出相关性能信息 mapred.task.profile.{maps|reduces} 对几个map或reduce进行profiling。非常影响速度,建议在小数据量上...

2013-11-07 17:05:33

阅读数 1159

评论数 0

转载 Kill Commands and Signals

On Linux systems, numerous users often come across a program or process that locks up. The user will usually kill the software if the system does n...

2013-11-06 17:09:49

阅读数 998

评论数 0

转载 YARN ResourceManager调度器的分析

YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器,探讨三种调度器的设计侧重,最后给出一些配置建议和参数解释。 本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如,CPU资源分配等特性在不就的将来就会加入。 为了方便查...

2013-11-06 13:48:26

阅读数 2512

评论数 0

转载 技巧: 使用truss、strace或ltrace诊断软件的"疑难杂症"

简介 进程无法启动,软件运行速度突然变慢,程序的"Segment Fault"等等都是让每个Unix系统用户头痛的问题,本文通过三个实际案例演示如何使用truss、strace和ltrace这三个常用的调试工具来快速诊断软件的"疑难杂症"。 tr...

2013-11-06 11:38:44

阅读数 900

评论数 0

转载 Java调用外部程序技巧

前些天使用Java调用外部程序的时候,发现线程会堵塞在waitfor()方法。 调用方法如下: Process process =Runtime.getRuntime().exec(cmd); process.waitfor(); 如果直接在Shell中调用这个...

2013-11-03 21:46:36

阅读数 1029

评论数 0

提示
确定要删除当前文章?
取消 删除