![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
Flood_Dragon
勇者无所畏惧 强者自强不息
展开
-
hbase安装配置(整合到hadoop)
hbase安装配置(整合到hadoop) Huangguisu1.快速单机安装:在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase转载 2014-01-27 11:12:02 · 747 阅读 · 0 评论 -
hbase多表输出
1.设置输出格式 job.setOutputFormatClass(MultiTableOutputFormat.class);2.reduce时声明表名 ImmutableBytesWritable putTable1 = new ImmutableBytesWritable(Bytes.toBytes("analyzer_w1"));3.reduce写数据 context.w转载 2014-10-16 11:56:57 · 1291 阅读 · 0 评论 -
NoSql中的B-tree、B+tree和LSM-tree
首先来回答一个问题:为什么在磁盘中要使用b+树来进行文件存储呢?原因还是因为树的高度低得缘故,磁盘本身是一个顺序读写快,随机读写慢的系统,那么如果想高效的从磁盘中找到数据,势必需要满足一个最重要的条件:减少寻道次数。我们以平衡树为例进行对比,就会发现问题所在了:先上个图 这是个平衡树,可以看到基本上一个元素下只有两个子叶节点 抽象的来看,树转载 2014-09-30 11:03:40 · 792 阅读 · 0 评论 -
mr任务之从多个Hbase表中读取数据进行处理
从两个不同的Hbase表中读取数据:在reduce中根据数据结构 判断数据是来源于那个Hbase表即可// 设置查询条件 List scans = new ArrayList(); Scan scan1 = new Scan(); scan1.setCaching(100); scan1.setCacheBlocks(false); scan1.setAttribute转载 2014-09-26 15:13:11 · 1580 阅读 · 0 评论 -
Hbase访问方式之Mapreduce
概述:Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。一个简单示例:说明:从日志表中,统计每个IP访问网站目录的总数package man.ludq.hbase;import java.io.IOException;import org.apac转载 2014-09-26 15:16:02 · 640 阅读 · 0 评论 -
HBase高性能复杂条件查询引擎
——索引的实质是另一种编排形式的数据冗余,高效的检索源自于面向查询特别设计的编排形式,如果再辅以分布式的计算框架,就可以支撑起高性能的大数据查询。本文原文出处: http://blog.csdn.net/bluishglc/article/details/31799255 严禁任何形式的转载,否则将委托CSDN官方维护权益!Apache HBase™是一个分布式、可伸缩的NoS转载 2014-09-19 11:36:11 · 1035 阅读 · 0 评论 -
hbase建索引的两种方式
在二级索引的实现技术上一般有几个方案:1. 表索引使用单独的hbase表存储索引数据,业务表的索引列值做为索引表的rowkey,业务表的rowkey做为索引表的qualifier或value。问题:对数据更新性能影响较大;无法保证一致性;Client查询需要2次RPC(先索引表再数据表)。2. 列索引与业务表使用相同表,使用单独列族存储索转载 2014-05-29 11:38:40 · 1699 阅读 · 0 评论 -
Hive Hbase区别 转载整理
以下 由网上内容 整理:Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hiv转载 2013-12-30 12:17:36 · 707 阅读 · 0 评论 -
基于MapReduce的HBase开发
在伪分布式模式和全分布式模式下 HBase 是架构在 HDFS 上的,因此完全可以将MapReduce 编程框架和 HBase 结合起来使用。也就是说,将 HBase 作为底层“存储结构”,MapReduce 调用 HBase 进行特殊的处理,这样能够充分结合 HBase 分布式大型数据库和MapReduce 并行计算的优点。 相对应MapReduce的hbase实现类: 1)Inp转载 2014-02-28 12:30:46 · 736 阅读 · 0 评论 -
基于MapReduce的HBase开发(续)
import java.io.ByteArrayOutputStream; import java.io.DataOutputStream; import java.io.IOException; import java.util.HashMap; import org.apache.hadoop.conf.Configuration; import org.apache.hadoo转载 2014-02-28 12:33:45 · 748 阅读 · 0 评论 -
Hbase使用filter快速高效查询
[java] view plaincopy本博客是hbase使用filter快速高效查询的方法,我会慢慢补齐 几大Filters1、Comparision Filters 1.1 RowFilter1.2 FamilyFilter 1.3 QualifierFilter 1.4 ValueFilter转载 2014-02-25 17:32:46 · 704 阅读 · 0 评论 -
hbase写数据过程
博文说明:1、研究版本hbase0.94.12;2、贴出的源代码可能会有删减,只保留关键的代码 从client和server两个方面探讨hbase的写数据过程。一、client端 1、写数据API写数据主要是HTable的单条写和批量写两个API,源码如下:// 单条写APIpublic void put( final P转载 2014-02-13 14:02:19 · 1031 阅读 · 0 评论 -
HBase的安装
HBase的安装本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式。安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配。我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本。hbase下载地址:http://mirror.bit.edu.cn/apache转载 2014-02-11 11:40:08 · 762 阅读 · 0 评论 -
日志结构的合并树 The Log-Structured Merge-Tree
近年来,随着互联网数据的日益增长,管理分布式数据需求的日益增加,Bigtable[1]等一系列NoSQL数据库开始涌现。Bigtable是一个分布式的结构化数据存储系统,它被设计用来处理海量数据,其在提供Tablet服务时使用内存中的memtable和GFS[2]中的SSTable来相互配合着来存储数据更新,其中存储和更新的方法与日志结构的合并树[3](Log-Structured Merge转载 2016-01-13 10:42:37 · 996 阅读 · 0 评论