2015年08月_wisgood

11月 09月 08月 07月 05月 04月 03月 02月 01月

转载为什么CMS GC时出现Concurrent Mode Failure？

并发收集器（concurrentcollector）指的是回收年老代和持久代时，采用多个线程和应用线程并发执行，减少应用停顿时间，但如果参数设置不当，容易出现Concurrent ModeFailure现象，此时JVM将采用停顿的方式进行full gc，整个gc时间相当可观，完全违背了采用CMS GC的初衷。出现此现象的原因主要有两个：一个是在年老代被用完之前不能完成对无引用对象的回收；一...

2015-08-30 15:44:01 1163

原创提高Hadoop Balancer 迁移block速度的方法

如何提高Hadoop Balancer迁移block的速度？1）增加DataNode用于balancer的bandwidth。dfs.datanode.balance.bandwidthPerSec52428800这个值是DataXceiverServer上BlockBalanceThrottler控制的带宽大小。该单位是Byte，如果机器的网卡和交换机的带宽有限，可以

2015-08-22 10:45:27 5677

转载 Dubbo架构设计详解

Dubbo是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出服务提供方（Provider）和服务消费方（Consumer）两个角色。关于注册中心、协议支持、服务监控等内容，详见后面描述。

2015-08-17 17:33:51 601

原创 HDFS snapshot操作实战

Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用：防止用户的错误操作：管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。如果用户意外地删除了一个文件，就可以使用包含该文件的最新只读快照来进行回复。备份：管理员可以根据需求来备

2015-08-17 12:09:16 2865

原创使用yum源安装CDH Hadoop集群

本文主要是记录使用yum安装CDH Hadoop集群的过程，包括HDFS、Yarn、Hive和HBase。本文使用CDH5.4版本进行安装，故下文中的过程都是针对CDH5.4版本的。0. 环境说明系统环境：操作系统：CentOs 6.6Hadoop版本：CDH5.4JDK版本：1.7.0_71运行用户：root集群各节点角色规划为：192.168.56.12

2015-08-17 10:16:45 4244

转载 Sensu 简介

Sensu 简介Sensu 是一款开源的监控框架。Sensu 采用 C/S 结构，有用来发送指令、存储数据的 Sensu Server 和被监控的对象 Sensu Client。Sensu Server 和 Sensu Client 之间使用 RabbitMQ 进行通信，Server 端使用 Redis 存储数据。每一个 Sensu Client 使用 JSON 进行设置。

2015-08-14 16:07:54 5044

转载 hadoop2升级的那点事情(详解)

前阵子，公司的hadoop从hadoop1.02升级到hadoop2.4.1，记录下升级的步骤和遇到的问题，和大家分享，希望别人可以少走一些弯路技术选型当前使用版本： apache hadoop 1.0.2 hive 0.10 升级目标版本 Apache hadoop 2.4.1 Hive 0.13 升级风

2015-08-05 15:35:27 905