hbase
文章平均质量分 78
小桥
活泼开朗 ,乐于帮助他人
展开
-
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
1、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码 package com.wujintao.hbas转载 2013-05-12 18:11:43 · 950 阅读 · 0 评论 -
HBase性能优化方法总结(三):读表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第三部分内容:读表操作相关的优化方法。 3. 读表操作 3.1 多HTable并发读 创建多个HTable客户端用于读操作,提高读数据的吞吐量,一个例子: static final Configurat转载 2014-11-12 17:59:39 · 879 阅读 · 0 评论 -
HBase性能优化方法总结(二):写表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 2. 写表操作 2.1 多HTable并发写 创建多个HTable客户端用于写操作,提高写数据的吞吐量,一个例子: static final Configurat转载 2014-11-12 17:58:46 · 684 阅读 · 0 评论 -
HBase性能优化方法总结(四):数据计算
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第四部分内容:数据计算相关的优化方法。 4. 数据计算 4.1 服务端计算 Coprocessor运行于HBase RegionServer服务端,各个Regions保持对与其相关的coprocessor实现类的转载 2014-11-12 18:00:27 · 741 阅读 · 0 评论 -
HBase性能优化方法总结(一):表的设计
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户转载 2014-11-12 17:56:30 · 629 阅读 · 0 评论 -
HBase条件查询(多条件查询)
Author:Pirate Leo myBlog: http://blog.csdn.net/pirateleo/ myEmail: codeevoship@gmail.com 转载请注明出处,谢谢。 文中可能涉及到的API: Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/ HBase: http:转载 2014-10-24 16:02:04 · 724 阅读 · 0 评论 -
hbase分页查询
此文原创,转载请说明出处:http://ronxin999.blog.163.com/blog/static/422179202013621111545534/ 最近比较忙,隔了一段时间没有更新博客了。今天拿点时间来分享下关于hbase分页查询的实现思路,自己已经应用了该hbase分页查询。 从所周知,hbase通过scan来扫描表,通过startKey,stopKey来确定范围,hbase官转载 2013-11-15 15:18:42 · 1962 阅读 · 3 评论 -
生成HFile以及入库到HBase
一、MR生成HFile文件 [java] view plaincopy package insert.tools.hfile; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import or转载 2013-08-16 11:25:26 · 1306 阅读 · 0 评论 -
使用Hive读取Hbase中的数据
原地址:http://victorzhzh.iteye.com/blog/972406 第一步,启动hadoop,命令:./start-all.sh 第二步,启动hive,命令: ./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi转载 2013-05-12 01:11:40 · 1221 阅读 · 0 评论 -
HBase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonSe转载 2014-11-12 20:38:54 · 693 阅读 · 0 评论