![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
dhtx_wzgl
这个作者很懒,什么都没留下…
展开
-
hbase-1.0.1的60010页面无法打开
在安装hbase-1.0.1时发现一个问题,hbase能够正常使用,hbase shell 完全可用,但是60010页面却打不开,最后找到问题,是因为1.0.1版本的hbase的master web 默认是不运行的,所以需要自己配置默认端口。配置如下在hbase-site.xml中加入一下内容即可hbase.master.info.port60010同理可以配置原创 2015-07-09 21:04:56 · 5546 阅读 · 0 评论 -
Mongodb VS Hbase
原文链接:http://hi.baidu.com/i1see1you/blog/item/a8038399d9a777286e068c8a.html1.Mongodb bson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的转载 2015-10-09 15:40:20 · 474 阅读 · 0 评论 -
HBase深入分析之RegionServer
所有的用户数据以及元数据的请求,在经过Region的定位,最终会落在RegionServer上,并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能,从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase转载 2015-10-22 08:28:35 · 531 阅读 · 0 评论 -
华为hbase二级索引(secondary index)细节分析 2013-06-03 | 相关总结
华为在HBTC 2012上由其高级技术经理Anoop Sam John透露了其二级索引方案,这在业界引起极大的反响,甚至有人认为,如果华为早点公布这个方案,hbase的某些问题早就解决了。其核心思想是保证索引表和主表在同一个region server上。更新:目前该方案华为已经开源,详见:https://github.com/Huawei-Hadoop/hindex下面来对其方案做一个分析转载 2015-07-28 16:02:05 · 1141 阅读 · 9 评论 -
大数据性能调优之HBase的RowKey设计
1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Row转载 2015-10-28 08:28:28 · 722 阅读 · 0 评论 -
运行pig出错Unhandled internal error. Found interface jline.Terminal, but class was expected
运行pig时报如下错误2015-07-14 10:41:12,869 [main] ERROR org.apache.pig.Main - ERROR 2998: Unhandled internal error. Found interface jline.Terminal, but class was expected解决办法:删除{HADOOP_HOME}/share/had原创 2015-07-14 10:43:58 · 2805 阅读 · 0 评论 -
Hbase 协处理器(一)之RowCount代码
public class RowCountEndpoint extends ExampleProtos.RowCountService implements Coprocessor, CoprocessorService { private RegionCoprocessorEnvironment env; public RowCountEndpoint() {原创 2015-08-16 15:51:20 · 1644 阅读 · 0 评论 -
HBase学习之二级索引
1.引言 随着大数据时代的来临,数据的规模越来越大,TB级已经成为常态。对于海量的数据,如何对其进行有效的处理,是一个挑战。开源分布式数据库HBase数据库很好的解决了海量数据的存储问题,但是HBase只支持Rowkey作为索引检索数据,所以HBase在检索非Rowkey列的数据时,性能会很差。基于HBase这一特性,业界展开了对HBase二级索引的研究。业界对于HBase二级索原创 2015-10-26 17:10:10 · 5968 阅读 · 2 评论 -
Hbase存储详解
started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital Hbase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become Apache转载 2015-12-28 19:23:47 · 718 阅读 · 0 评论 -
Spark 下操作 HBase(1.0.0 新 API)
HBase经过七年发展,终于在今年2月底,发布了 1.0.0 版本。这个版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合,进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资料甚少,故作此文。本文将分两部分介绍,第转载 2015-12-14 10:54:04 · 391 阅读 · 0 评论 -
spark操作hbase
转自: http://blog.csdn.net/oopsoom/article/details/36071323在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spa转载 2015-12-14 10:56:18 · 657 阅读 · 0 评论 -
HBase连不上zookeeper
今天安装HBase1.0.1的集群,启动HBase时,总是出现 ZooKeeper create failed after 4 attempts这个错误。开始一直以为是HBase集群配置的问题,最后才发现是zookeeper的zoo.cfg里面的server.1与myid的序号不匹配,在myid里配成3了,改过来就好了。 以前一直以为只要每个zookeeper节点之间的myid不一样就o原创 2016-03-20 13:12:46 · 2412 阅读 · 0 评论 -
HBase中的备份和故障恢复方法
本文将对Apache HBase可用的数据备份机制和大量数据的故障恢复/容灾机制做简要介绍。随着HBase在重要的商业系统中应用的大量增加,许多企业需要通过对它们的HBase集群建立健壮的备份和故障恢复(backup and disaster recovery, BDR)机制来保证它们的企业(数据)资产。HBase和Apache Hadoop系统提供了许多内置的机制,可以快速而轻松的完成P转载 2015-10-15 12:11:27 · 759 阅读 · 0 评论 -
基于HBASE的并行计算架构之rowkey设计篇
转自:http://blog.csdn.net/icejadelove/article/details/4764399HBASE作为大数据容器目前在业界得到认可,并行计算是应对大数据的核心思路,而分布式设计是并行计算架构的基本方法,本文将基于HBASE讲解一种并行计算架构的设计方法。1. 大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间转载 2015-10-23 09:21:01 · 437 阅读 · 0 评论 -
pig安装
一、将pig-0.14.0.tar.gz安装包解压到/opt下并改名为pig二、修改/etc/profile文件,增加以下内容export PIG_HOME=/opt/pigexport PIG_CLASSPATH=/opt/hadoop/etc/hadoop //hadoop-2.6.0的配置所在的目录export PATH=$PIG_HOME/bin:$PATH原创 2015-07-14 12:15:56 · 681 阅读 · 0 评论 -
Hbase namespace问题
在改动了hadoop集群的hadoop_tmp目录的位置后,重启hadoop集群与hbase集群,hbase出现Hbase namespace的问题,最后修改hbase-site.xml中下述内容后,问题得到解决,即修改zookeeper的数据存放路径或更改目录名,因为之前的zookeeper数据中保存了上次hbase的配置hbase.zookeeper.property.dataDir原创 2015-07-12 13:00:28 · 1163 阅读 · 0 评论 -
启动hbase的regionserver
配置了hbas路径的方法(任何路径下均可执行)启动集群中所有的regionserver hbase-daemons.sh start regionserver启动某个regionserverhbase-daemon.sh start regionserver没有配置路径的方法(进到hbase目录下的bin下执行)启动集群中所有的regio原创 2015-08-13 16:49:40 · 5345 阅读 · 0 评论 -
Hbase集群扩展
当hbase集群节点不够用时,我们需要新增节点来对集群进行扩展,hbase集群的扩展是很简单的,步骤如下:一、准备一台新机器作为扩展节点,这里是作为slaves15,该机子要先与master机之间配置好ssh,并配置好hadoop,扩展到hbase所在的hadoop集群上(ssh配置这里不介绍了,hadoop集群扩展,见我的博客《hadoop集群扩展》)。二、修改master机器上原创 2015-07-15 19:15:19 · 4666 阅读 · 1 评论 -
HBase1.0.1基本操作(java代码)
public class HQuery {private static ConnHBase connHbase=new ConnHBase();/***************建表****************************/public void creatTable(String TBname,String...colFamily) throws Exception原创 2015-08-13 19:28:21 · 1090 阅读 · 0 评论 -
HBase1.0以上版本的API改变
HBase1.0以上版本已经废弃了 HTableInterface,HTable,HBaseAdmin等API的使用,新增了一些API来实现之前的功能:Connectioninterface:Connection connection = ConnectionFactory.createConnection(config);// ...connection.close();原创 2015-08-12 18:28:49 · 1493 阅读 · 0 评论 -
hbase-1.0.1安装
1、修改hbase/conf目录下hbase-site.xml配置文件,在configuration里添加hbase.rootdirhdfs://master:9000/hbasehbase.cluster.distributedtruehbase.zookeeper.quorummaster,slaves1,slaves2原创 2015-07-12 13:48:30 · 1014 阅读 · 0 评论 -
hbase regionserver节点连不上集群
hbase集群中slaves3节点忽然连不上集群了,日志报网络不通的错误,但是却可以ping通master,最后重新启动hbase集群发现如下启动信息:slaves3:regionserver running as process 2548.Stop it first ,奇怪的是在slaves3上jps一下却没发现有Hregionserver进程,但是kill -9 2548 后,再重启hbase原创 2015-07-12 18:55:46 · 2930 阅读 · 0 评论 -
Hbase1.0 客户端api
最近在试用Hbase1.0的客户端API,发觉变化还是挺大(以前版本也不熟)。到处都是deprecated。现在应该是这样子:Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "quorum1,quorum2,quorum3");conf.set("h转载 2015-09-02 15:28:53 · 734 阅读 · 0 评论 -
360HBase二级索引方案学习总结
在今年的北京QCon大会上,360公司的系统部技术经理赵健博在演讲中公布了360公司的HBase二级索引方案,这一方案的提出将比华为HBase二级索引更好的解决了Hbase的多维实时查询问题。它的核心思想是保证了索引和数据在同一region上,减少了IO通信,提升了HBase的读性能,并且无非修改HBase源码,实现更加简单。360HBase二级索引公布的演讲视频:http://www.inf原创 2015-10-12 10:15:18 · 5730 阅读 · 1 评论 -
Hbase中的Coprocessor
1.起因(Why HBase Coprocessor)HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(统计数据表的总行数,需要使用Counter方法,执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单转载 2015-08-02 14:30:11 · 736 阅读 · 0 评论