hbase
ATCO
我很懒,随便留下几个字。
展开
-
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
1、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包。2、主要程序package com.wujintao.hbase.t转载 2013-03-08 09:28:57 · 1902 阅读 · 0 评论 -
ZOOKEEPER安装配置
Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:Bash代码 tickTime=2000 dataDir=/Users/apple/zooke转载 2015-02-06 11:41:20 · 554 阅读 · 0 评论 -
HBase中LeaseException及ClosedChannelException解决办法
随着数据量的增大,HIVE查询HBase的时候又出现了scan数据缓慢的问题,上次是因为跨网段读数据没有设置client端cache,这次是在HBase regionserver的log中出现了如下错误: [plain] view plaincopyprint?org.apache.hadoop.hbase.regionserver.LeaseException:转载 2014-06-04 17:31:22 · 1273 阅读 · 0 评论 -
MapReduc操作HBase
本文来自:http://qa.taobao.com/?p=13914实例分析本文通过实例分析演示了使用MapReduce分析HBase的数据,需要注意的这只是一种常规的方式(分析表中的数据存到另外的表中),实际上不局限于此,不过其他方式跟此类似。blog例子来进行示例分析,业务需求是这样:找到具有相同兴趣的人,我们简单定义为如果author之间article的tag相同,则认为两者转载 2012-11-12 11:12:45 · 649 阅读 · 0 评论 -
hbase数据导出方案
当hbase里的数据量很大时,想要查找导出某些数据是非常耗时的。针对于我们一般的应用,对于有批次或任务性质概念的数据,我们可以这样:首先,在进行数据存存时,需要对其ROWKEY进行规范化生成,如生成规格为:自定义ID+任务/批次ID+UUID(注意,整个ROWKYE尽可能保证只有数据和字母,UUID的-字符需替换掉)这样,当我们想找到某一批次或任务或某ID标识的数据时,可以:原创 2014-02-17 09:22:53 · 1487 阅读 · 0 评论 -
HBase Scan类用法
public static void main(String[] args) throws IOException { //Scan类常用方法说明 //指定需要的family或column ,如果没有调用任何addFamily或Column,会返回所有的columns; // scan.addFamily(); // scan.a转载 2013-09-12 11:17:30 · 12859 阅读 · 1 评论 -
hbase shell基础和常用命令详解
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》,HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 1. 简介 HBase是一个分布式的、面向列的开转载 2012-11-12 10:36:40 · 1060 阅读 · 0 评论 -
Jave操作HBase
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hado转载 2012-11-12 11:05:55 · 522 阅读 · 0 评论 -
HBase简介
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理转载 2012-11-12 10:59:49 · 541 阅读 · 0 评论 -
HBASE集群安装
HBase的安装也有三种模式:单机模式、伪分布模式和完全分布式模式,在这里只介绍完全分布模式。安装前,需要先确认已正确安装Hadoop集群和Zookeeper并运行。这里下载的是hbase-0.94.6,Hadoop集群使用的是1.0.4,假设我们的集群环境是master,slaver1,slaver2(要注意机器别名已经在/etc/hosts下进行了配置,否则可用IP)转载 2015-02-06 11:24:51 · 625 阅读 · 0 评论