- 博客(7)
- 资源 (29)
- 收藏
- 关注
转载 为什么CMS GC时出现Concurrent Mode Failure?
并发收集器(concurrentcollector)指的是回收年老代和持久代时,采用多个线程和应用线程并发执行,减少应用停顿时间,但如果参数设置不当,容易出现Concurrent ModeFailure现象,此时JVM将采用停顿的方式进行full gc,整个gc时间相当可观,完全违背了采用CMS GC的初衷。 出现此现象的原因主要有两个:一个是在年老代被用完之前不能完成对无引用对象的回收;一...
2015-08-30 15:44:01 1187
原创 提高Hadoop Balancer 迁移block速度的方法
如何提高Hadoop Balancer迁移block的速度?1)增加DataNode用于balancer的bandwidth。dfs.datanode.balance.bandwidthPerSec52428800这个值是DataXceiverServer上BlockBalanceThrottler控制的带宽大小。该单位是Byte,如果机器的网卡和交换机的带宽有限,可以
2015-08-22 10:45:27 5717
转载 Dubbo架构设计详解
Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色。关于注册中心、协议支持、服务监控等内容,详见后面描述。
2015-08-17 17:33:51 615
原创 HDFS snapshot操作实战
Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用:防止用户的错误操作:管理员可以通过以滚动的方式周期性设置一个只读的快照,这样就可以在文件系统上有若干份只读快照。如果用户意外地删除了一个文件,就可以使用包含该文件的最新只读快照来进行回复。备份:管理员可以根据需求来备
2015-08-17 12:09:16 2894
原创 使用yum源安装CDH Hadoop集群
本文主要是记录使用yum安装CDH Hadoop集群的过程,包括HDFS、Yarn、Hive和HBase。本文使用CDH5.4版本进行安装,故下文中的过程都是针对CDH5.4版本的。0. 环境说明系统环境:操作系统:CentOs 6.6Hadoop版本:CDH5.4JDK版本:1.7.0_71运行用户:root集群各节点角色规划为:192.168.56.12
2015-08-17 10:16:45 4271
转载 Sensu 简介
Sensu 简介Sensu 是一款开源的监控框架。Sensu 采用 C/S 结构,有用来发送指令、存储数据的 Sensu Server 和被监控的对象 Sensu Client。Sensu Server 和 Sensu Client 之间使用 RabbitMQ 进行通信,Server 端使用 Redis 存储数据。每一个 Sensu Client 使用 JSON 进行设置。
2015-08-14 16:07:54 5100
转载 hadoop2升级的那点事情(详解)
前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路技术选型 当前使用版本: apache hadoop 1.0.2 hive 0.10 升级目标版本 Apache hadoop 2.4.1 Hive 0.13 升级风
2015-08-05 15:35:27 919
rpmbuild-demo工程
2015-01-21
Weka源代码详细分析系列
2012-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人