2015年01月_mango_song

04月 03月 01月

原创 HBase StoreFile Compaction

Store File的合并策略比较复杂，涉及多个参数，合并策略的好坏，直接影响HBase的读写性能. 发现这篇博文:http://blog.csdn.net/azhao_dn/article/details/8867036 对Compaction描述的言简意赅:hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的stor

2015-01-26 13:55:29 1257 1

原创线上Spark处理Bzip2引出Hadoop Bzip2线程安全问题

我们的Hadoop生产环境有两个版本，其中一个是1.0.3，为了支持日志压缩和split，我们添加了hadoop-1.2中关于Bzip2压缩的feature. 一切运行良好。为了满足公司对迭代计算的需求(复杂HiveSQL,广告推荐算法，机器学习 etc), 我们构建了自己的Spark集群，最初是Standalone Mode，版本spark-0.9.1,支持Shark。上线后，问题接踵而

2015-01-14 10:17:02 1881

转载我读过最好的Epoll模型讲解

首先我们来定义流的概念，一个流可以是文件，socket，pipe等等可以进行I/O操作的内核对象。不管是文件，还是套接字，还是管道，我们都可以把他们看作流。之后我们来讨论I/O的操作，通过read，我们可以从流中读入数据；通过write，我们可以往流写入数据。现在假定一个情形，我们需要从流中读数据，但是流中还没有数据，（典型的例子为，客户端要

2015-01-12 16:26:40 26085 3

原创一次JobTracker拥堵问题排查过程

Hadoop版本 1.0.3问题描述:随着每日MR作业数目渐增，用户反映提交作业时经常阻塞，也就是JobTracker发生了拥堵。这种情况开始频繁出现，我们调大JobTracker端的RPC Handler线程个数，并定时对JobTracker的栈信息进行分析，如果RPC Handler线程全部被BLOCKED住了，就Dump出栈信息，并及时发出报警。原因及解决办法:经过分析几次抓

2015-01-12 15:44:49 1031

原创 Hadoop0.21内存泄漏问题：数据块映射管理的一个bug

我们的HDFS生产环境是Hadoop-0.21,机器规模200台，block在7KW左右. 集群每运行几个月，NameNode就会频繁FGC,最后不得不restart NameNode. 因此怀疑NameNode存在内存泄漏问题，我们dump出了NameNode进程在重启前后的对象统计信息。07-10重启前:num #instances #byt

2015-01-09 10:49:02 1373

原创关于HashCode

有许多人学了很长时间的Java，但一直不明白hashCode方法的作用，首先，想要明白hashCode的作用，你必须要先知道Java中的集合。　　总的来说，Java中的集合（Collection）有两类，一类是List，再有一类是Set。前者集合内的元素是有序的，元素可以重复；后者元素无序，但元素不可重复。那么这里就有一个比较严重的问题了：要想保证元素不重复，可两个元素是否

2015-01-07 13:29:13 612

原创 HBase内存结构之跳表数据结构浅析

最近学习HBase源码时发现HRegion在sotre管理上用到了跳表数据结构ConcurrentSkipListMap:ConcurrentSkipListMap有几个ConcurrentHashMap不能比拟优点：1、ConcurrentSkipListMap的key是有序的。2、ConcurrentSkipListMap支持更高的并发。

2015-01-07 12:46:47 3312 1

原创多线程开发之Object.wait() notify() notifyall()

参考文献：object.wait()和object.notify()和object.notifyall()正文wait、notify和notifyAll方法是Object类的final native方法。所以这些方法不能被子类重写，Object类是所有类的超类，因此在程序中有以下三种形式调用wait等方法。wait();//方式1：this.wait();//方式

2015-01-07 10:40:09 842

转载 HBase中MVCC的实现机制及应用情况

本文转载自:http://www.cnblogs.com/panfeng412/p/mvcc-implementation-mechanism-in-hbase.htmlMVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。MVCC基本原理在介绍MVCC概念之

2015-01-07 09:45:51 863

Myeclipse配置GWT

文档里详细描述了如何在Myeclipse10中配置GWT，希望对大家有帮助

2013-07-25

1、先到http://wingware.com/downloads/wingide下载最新版本的IDE. 2、安装之前，先修改时间到一个月前。 3、安装 4、安装之后然后获取试用版的License。然后关闭WingIDE。 5、将破解文件abstract.pyo 放置破解文件abstract.pyo于安装目录\bin\2.5\src\process，比如C:\ProgramFiles\Wing IDE 4.1\bin\2.5\src\process。 6、修改时间为当前时间，重启WING ide就已经破解

2013-06-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

芒果先生Mango的专栏