2015年04月_cache007

原创 hbase RowFilter

RowFilter用于过滤row keyOperatorDescriptionLESS小于LESS_OR_EQUAL小于等于EQUAL等于NOT_EQUAL不等于GREATER_OR_EQUAL大于等于GREATER大于

2015-04-27 15:39:41 1111

转载 HBase 常用Shell命令

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的

2015-04-27 15:23:20 441

转载 Hbase shell详情

HBase 为用户提供了一个非常方便的使用方式, 我们称之为“HBase Shell”。HBase Shell 提供了大多数的 HBase 命令, 通过 HBase Shell 用户可以方便地创建、删除及修改表, 还可以向表中添加数据、列出表中的相关信息等。备注:写错 HBase Shell 命令时用键盘上的“Delete”进行删除,“Backspace”不起作用。在启动 HBase

2015-04-27 14:28:55 409

转载 hbase基本概念和hbase shell常用命令用法

HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数

2015-04-24 15:05:30 498

转载 Storm Metric

storm从0.9.0开始，增加了指标统计框架，用来收集应用程序的特定指标，并将其输出到外部系统。本文中采用的监听类是LoggingMetricsConsumer，统计指标值将输出到metric.log日志文件中。当然也可以自定义监听类，只需要实现IMetricsConsumer接口即可，这些类可以在代码里注册（registerMetricsConsumer），也可以在 storm.yam

2015-04-22 09:48:11 703

转载 JStorm之Supervisor简介

一、简介Supervisor是JStorm中的工作节点，类似于MR的TT，subscribe zookeeper的任务调度结果数据，根据任务调度情况启动/停止工作进程Worker。同时Supervisor需要定期向zookeeper写入活跃端口信息以便Nimbus监控。Supervisor不执行具体处理工作，所有的计算任务都交Worker完成。从整个架构上看，Supervisor处在整个J

2015-04-16 17:00:56 1759

转载 JStorm之Nimbus简介

一、简介JStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）。其分别对应的角色如下：1. 主控节点（Nimbus）上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工作节点，监控集群中运行任务的状态等工作。Nimbus作用类似于Hadoop中JobTracker。2. 工作节点（Supe

2015-04-16 16:02:22 1677

转载 Storm进程通信机制分析

本文主要分析storm的worker进程间消息传递机制，消息的接收和处理的大概流程见下图在Storm中，worker进程内部的thread通信与worker进程间的通信有一些差别，worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。worker进程内部通信或在同一个节点的不同worker的thread

2015-04-16 11:46:11 1597

转载用Java获取full GC的次数

大家如果熟悉JDK 6的内建工具，或许已经知道可以通过jstat工具很轻松的从外部得知一个Java进程的GC统计信息，其中就包括了full GC的次数。假定我们相信jstat的数据是准确的，那么只要跟它从同一来源获取数据就可以保证我们拿到正确的full GC次数信息了。查看OpenJDK 6中jstat的一个源文件，jdk/src/share/classes/sun/tools/j

2015-04-15 20:13:35 6526

转载 java实现计算cpu使用率

通过/proc/stat文件信息，java实现计算cpu使用率/proc/stat 文件内容：[root@Shentar ~]# cat /proc/stat cpu 602 0 2164 11445 2294 0 17 0 0 cpu0 306 0 1232 4553 2125 0 15 0 0 cpu1 295 0 932 6891 169 0 1 0 0 intr 71

2015-04-15 15:08:28 2322

转载 java获取cpu、内存、硬盘信息

1 下载安装sigar-1.6.4.zip 使用java自带的包获取系统数据，容易找不到包，尤其是内存信息不够准确，所以选择使用sigar获取系统信息。下载地址：http://sourceforge.net/projects/sigar/files/latest/download?source=files 解压压缩包，将lib下sigar.ja

2015-04-13 15:00:40 988

转载 storm文档----配置文件说明

storm由丰富的configure选项，用来调整nibus、supervisor、以及运行时topologies的行为。某些配置选项是系统配置，例如topology基础配置，修改某个topology的这些选项有可能影响到所有topologies，而某些选项只是涉及到每个topology自身的配置，这就可以根据需要修改了。每个配置选项在Storm代码库中的defaults.ya

2015-04-13 11:15:07 1112

转载使用Thrift API监控Storm集群和Topology

如要监控Storm集群和运行在其上的Topology，该如何做呢？Storm已经为你考虑到了，Storm支持Thrift的C/S架构，在部署Nimbus组件的机器上启动一个Thrift Server进程来提供服务，我们可以通过编写一个Thrift Client来请求Thrift Server，来获取你想得到的集群和Topology的相关数据，来接入监控平台，如Zabbix等，我目前使用的就

2015-04-13 11:03:46 1084

转载 Scala学习笔记（actor）

7. actorhttp://www.scala-lang.org/docu/files/actors-api/actors_api_guide.html# Scala中处理并发，有很多选择：l actor消息模型，类似Erlang，首选，Lift和akka也实现了自己的actor模型。l Thread、Runnablel java.uti

2015-04-09 20:26:52 601

转载 dubbo入门

概述(+) (#)Dubbo是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点：自开源后，已有不少非阿里系公司在使用Dubb

2015-04-09 14:23:06 600

转载 java.lang.OutOfMemoryError: Java heap space如何解决？

这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m2,如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:set JAVA_OPTS=-Xms64m -Xmx2

2015-04-08 20:22:39 2308

转载 java.lang.OutOfMemoryError: PermGen space及其解决方法

PermGen space的全称是Permanent Generation space,是指内存的永久保存区域OutOfMemoryError: PermGen space从表面上看就是内存益出，解决方法也一定是加大内存。说说为什么会内存益出：这一部分用于存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域，它和和存放Instance的Heap区域不同

2015-04-08 20:20:41 394

转载 java.lang.OutOfMemoryError: GC overhead limit exceeded解决

一、异常如下：Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded二、解释：JDK6新增错误类型。当GC为释放很小空间占用大量时间时抛出。一般是因为堆太小。导致异常的原因：没有足够的内存。三、解决方案：1、查看系统是否有使用大内存的代码或死循环。2、

2015-04-08 20:17:43 4093

转载解决 - java.lang.OutOfMemoryError： unable to create new native thread

一、认识问题:首先我们通过下面这个测试程序来认识这个问题：运行的环境（有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4，测试程序：Java代码 import java.util.concurrent.CountDownLatch; public cla

2015-04-08 20:15:36 1068

转载今日开源介绍：Google Guava、Google Guice、Joda-Time

今日开源介绍：Google Guava、Google Guice、Joda-Time博客分类： Java基础java开源工具API谷歌开源API工具类集合一、Guava 是一个 Google 的基于java1.6的类库集合的扩展项目，包括 collections, caching, primitives support, concurrency librar

2015-04-08 11:05:43 842

cache007的专栏