Hbase API应用
坚持到底cw
奋斗青年
展开
-
Hbase API高级特性-专用过滤器
1. Hbase提供的专用过滤器直接继承自FilterBase,其中一些过滤器只能做行筛选,因此只适合于扫描操作,对get(),这些过滤器限制的更苛刻:要么包含整行,要么什么都不包括。2. 单列值过滤器(SingleColumnValueFilter)用一列的值决定是否一行数据被过滤。public void singleColumnValueFilter() throws IO原创 2013-12-01 22:01:54 · 2451 阅读 · 0 评论 -
Hbase API管理功能4-集群状态信息
调用HBaseAdmin.getClusterStatus()可以查询ClusterStatus实例,这个实例包含了整个集群的信息。这个类也有setter,但是通过set方法修改的仅仅是本地副本的变量,除非用户需要修改本地副本的变量值。public static void fun1() throws IOException{Configuration conf = HBaseCon原创 2013-12-17 23:18:31 · 2192 阅读 · 0 评论 -
Hbase API管理功能3-集群管理
1. HBaseAdmin类提供了集群管理操作,允许用户查看集群当前的状态、执行表级任务和管理region。2. checkHBaseAvailable()方法可以验证客户端应用是否能与给定文件配置中的远程HBase集群进行通信。3. getClusterStatus()方法可以通过查询Clusterstatus类的实例返回集群信息,这个对象包含了集群状态的详细信息。原创 2013-12-17 22:22:19 · 987 阅读 · 0 评论 -
Hbase API管理功能2-HBaseAdmin
1. HBaseAdmin提供了建表、创建列簇、检查表是否存在、修改表结构和列簇结构、删除表等功能。2. HBaseAdmin实例的生命周期不宜太长。3. HBaseAdmin内置了master所用RPC接口代理的封装。HBaseAdmin类提供了以下基本接口:boolean isMasterRunning()检查master是否正在运行;HConnection get原创 2013-12-17 17:14:32 · 5383 阅读 · 0 评论 -
Hbase API管理功能1
1. Hbase建表涉及到:表结构+列簇结构的定义,这些定义关系到表和列簇内的数据如何存储以及何时存储。2. Hbase中的数据最终存储到表中的主要原因是:控制表中的列以到达共享表内的某些特性。3. 客服端与服务器、服务器与服务器之间进行通信,都是用Hadoop RPC框架,参数都实现了Writable接口。Writable接口有两个必须实现的方法:void write(原创 2013-12-13 15:51:31 · 1039 阅读 · 0 评论 -
Hbase API高级特性-计数器
1. 许多收集统计信息的应用有点击流或在线广告意见,这些应用需要收集到日志文件用作后续的分析,用户可以使用计数器做实时统计,从而放弃延时较高的批量处理操作。2. 原子操作检查并修改:将当前列当作计数器。即把一个 column 当作 一个 counter,这样便于给某些在线应用提供实时统计功能。(PS:比如帖子的实时浏览量:PV)3. 如果没有计数器特性:用户需要对一行数据加锁,然原创 2013-12-03 16:12:16 · 5487 阅读 · 0 评论 -
Hbase API高级特性-比较过滤器
1. 过滤器在客户端创建,通过RPC传送到服务器端,然后再服务器端执行过滤操作。2. 行过滤器(RowFilter)public void rowFilterScan() throws IOException{Scan scan = new Scan();//scan.addColumn(Bytes.toBytes("info"),Bytes.toBytes("add"))原创 2013-11-30 23:37:31 · 1593 阅读 · 0 评论 -
Hbase API高级特性-附加过滤器
1. 跳转过滤器(SkipFilter)该过滤器包含了一个用户提供 过滤器,当被包装的过滤器遇到一个需要过滤的KeyValue实例时,用户可以过滤整行数据。当过滤器发现某一行中的一列需要过滤时,那么整行数据都将被过滤掉。例如:SkipFilter与ValueFilter组合起来获取不包含空列值得行。public void skipFilter() throws IOException{原创 2013-12-02 22:18:59 · 1313 阅读 · 0 评论 -
Hbase API高级特性-FilterList
需要使用多个过滤器共同限制返回到客户端的结果。FilterList()public void filterList() throws IOException{List filters = new ArrayList();Filter filter1 = new RowFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL,new Binary原创 2013-12-02 22:46:37 · 3872 阅读 · 0 评论 -
Hbase API基础知识
1. CRUD操作:HTable类Put类,Get类,Delete类2. 原子性操作:compare-and-put,compare-and-delete3. KeyValue类:KeyValue[] kv = res1.raw();4. Result类:Result res1 = table.get(get);5. 写缓冲区:table.setAutoFlush(fa原创 2013-11-29 23:58:11 · 1935 阅读 · 0 评论