芒果先生Mango的专栏

专注分布式计算领域相关技术

排序:
默认
按更新时间
按访问量

HBase连接池 -- HTablePool被Deprecated以及可能原因是什么

说明: 最近两天在调研HBase的连接池,有了一些收获,特此记录下来。 本文先将官方文档(http://hbase.apache.org/book.html)9.3.1.1节翻译,方便大家阅读,然后查阅了关键类HConnectionManager的Developer API(http:...

2016-04-22 11:10:31

阅读数:1216

评论数:0

Storm常见模式------TimeCacheMap

Storm常见模式------TimeCacheMap Storm中使用一种叫做TimeCacheMap的数据结构,用于在内存中保存近期活跃的对象,它的实现非常地高效,而且可以自动删除过期不再活跃的对象。 TimeCacheMap使用多个桶buckets来缩小锁的粒度,以此换取高并发读...

2016-01-22 11:13:51

阅读数:577

评论数:0

Storm源码分析汇总

Storm Features Storm 简介 Storm Topology的并发度 Storm - Guaranteeing message processing Storm - Transactional-topologies Twitter Storm – DR...

2015-04-30 11:35:25

阅读数:958

评论数:0

Zero Copy 简介

最近在看Kafka的设计原理,kafka在数据传输时采用了zero copy技术: 使用Zero copy方式在内核层直接将文件内容传送给网络Socket,避免应用层数据拷贝,减小IO开销。 关于Zero copy,更多请点击Efficient data transfer through zero...

2015-03-19 09:26:36

阅读数:2661

评论数:0

HBase StoreFile Compaction

Store File的合并策略比较复杂,涉及多个参数,合并策略的好坏,直接影响HBase的读写性能. 发现这篇博文:http://blog.csdn.net/azhao_dn/article/details/8867036 对Compaction描述的言简意赅: hbase为了防止小文件...

2015-01-26 13:55:29

阅读数:873

评论数:1

线上Spark处理Bzip2引出Hadoop Bzip2线程安全问题

我们的Hadoop生产环境有两个版本,其中一个是1.0.3,为了支持日志压缩和split,我们添加了hadoop-1.2中关于Bzip2压缩的feature. 一切运行良好。 为了满足公司对迭代计算的需求(复杂HiveSQL,广告推荐算法,机器学习 etc), 我们构建了自己的Spark集群,最初...

2015-01-14 10:17:02

阅读数:1484

评论数:0

我读过最好的Epoll模型讲解

首先我们来定义流的概念,一个流可以是文件,socket,pipe等等可以进行I/O操作的内核对象。     不管是文件,还是套接字,还是管道,我们都可以把他们看作流。     之后我们来讨论I/O的操作,通过read,我们可以从流中读入数据;通过write,我们...

2015-01-12 16:26:40

阅读数:17636

评论数:2

一次JobTracker拥堵问题排查过程

Hadoop版本 1.0.3 问题描述: 随着每日MR作业数目渐增,用户反映提交作业时经常阻塞,也就是JobTracker发生了拥堵。这种情况开始频繁出现,我们调大JobTracker端的RPC Handler线程个数,并定时对JobTracker的栈信息进行分析,如果RPC Handler线程全...

2015-01-12 15:44:49

阅读数:744

评论数:0

Hadoop0.21内存泄漏问题:数据块映射管理的一个bug

我们的HDFS生产环境是Hadoop-0.21,机器规模200台,block在7KW左右. 集群每运行几个月,NameNode就会频繁FGC,最后不得不restart NameNode. 因此怀疑NameNode存在内存泄漏问题,我们dump出了NameNode进程在重启前后的对象统计信息。 0...

2015-01-09 10:49:02

阅读数:959

评论数:0

关于HashCode

有许多人学了很长时间的Java,但一直不明白hashCode方法的作用,  首先,想要明白hashCode的作用,你必须要先知道Java中的集合。    总的来说,Java中的集合(Collection)有两类,一类是List,再有一类是Set。  前者集合内的元素是有序的,元素可以重复;后...

2015-01-07 13:29:13

阅读数:475

评论数:0

HBase内存结构之跳表数据结构浅析

最近学习HBase源码时发现HRegion在sotre管理上用到了跳表数据结构ConcurrentSkipListMap: ConcurrentSkipListMap有几个ConcurrentHashMap 不能比拟优点: 1、ConcurrentSkipListMap 的key是有序的...

2015-01-07 12:46:47

阅读数:1503

评论数:0

多线程开发之Object.wait() notify() notifyall()

参考文献: object.wait()和object.notify()和object.notifyall() 正文 wait、notify和notifyAll方法是Object类的final native方法。所以这些方法不能被子类重写,Object类是所有类的超类,因此在程序中有以下三种形...

2015-01-07 10:40:09

阅读数:510

评论数:0

HBase中MVCC的实现机制及应用情况

本文转载自:http://www.cnblogs.com/panfeng412/p/mvcc-implementation-mechanism-in-hbase.html MVCC(Multi-Version Concurrent Control),即多版本并发控制协议,广泛使用于数据库...

2015-01-07 09:45:51

阅读数:573

评论数:0

MapReduce:详解Shuffle(copy,sort,merge)过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRed...

2014-12-29 11:51:47

阅读数:686

评论数:0

HBase源码解析(二) HMaster主要类成员解析

本文基于HBase-0.94.1分析HMaster的主要类成员. HMaster是HBase主/从集群架构中的中央节点。通常一个HBase集群存在多个HMaster节点,其中一个为Active Master,其余为Backup Master. HMaster的主要类成员如下: 1.ZooKeepe...

2014-12-08 17:52:11

阅读数:1382

评论数:0

HBase源码解析(一) HMaster启动流程

本文基于HBase-0.94.1分析HMaster的启动流程。 通常,我们是通过命令行启动HMaster: 1.HMaster命令行启动概述  HMaster的启动流程可以概括为:  将用户所要执行的"hbase-daemon.sh start master" 操作封装成一个H...

2014-12-08 11:25:46

阅读数:1616

评论数:1

对HBase bloom Filter的一些讨论

在工作中大家对hbase的bloom filter是否能作用于scan展开讨论。在没讨论前,我还真没想过这个问题,想当然的以为bloom filter肯定可以为scan剔除掉不需要的hfile。但Google了下才发现事实不是如此! 首先,学习了以下2篇文章: hbase对bf的理解和...

2014-12-02 02:21:55

阅读数:887

评论数:0

深入理解HBase Memstore

MemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调优有非常重要的帮助。 HBase Memstore 首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么,在何处发挥作用,如何使用到...

2014-12-02 01:54:02

阅读数:530

评论数:0

HDFS write流程与代码分析(Hadoop 2.0)

1 Reply Write操作是HDFS最基本的操作之一,一般是先create一个文件然后write内容。这篇文章主要讲用户调用FileSystem APT向HDFS写入数据时,HDFS是怎么工作的。 1,client发起create请求。 通过DistributedFileSyst...

2014-11-24 16:49:39

阅读数:1122

评论数:0

Shutdown Hook

最近了解了一下Java中ShutdownHook的特性,网上有几篇讲述得很全面的文章,做些记录如下: 1、ShutdownHook在某些情况下不会运行 ShutdownHook从不不保证一定会运行。当JVM由于内部原因崩溃,或接收到操作系统发送的SIGKILL命令等,关闭钩子来不及运行JVM进...

2014-11-05 15:32:24

阅读数:1483

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭