hbase
文章平均质量分 89
gao634209276
这个作者很懒,什么都没留下…
展开
-
hadoop2.7.2集群hive-1.2.1整合hbase-1.2.1
本文操作基于官方文档说明,以及其他相关资料,若有错误,希望大家指正根据hive官方说明整合hbase链接如下https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration文中指出hive0.9.0匹配的Hbase版本至少要0.92,比这更早的hive版本要匹配Hbase0.89或者0.90自Hive1.x后,hive能原创 2016-05-12 14:19:10 · 6174 阅读 · 1 评论 -
hbase shell基础和常用命令详解
HBase shell的基本用法hbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。通过执行 help可以看到命令的帮助信息。以网上的一个学生成绩表的例子来演示hbase的用法。namegradcoursemathartTom59787Jim48980转载 2016-06-19 16:45:12 · 275 阅读 · 0 评论 -
HBase体系结构
HBase的服务器体系结构遵循简单的主从服务器架构,它由HRegion服务器(HRegion Server)群和HBase Master服务器(HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器,而HBase中所有的服务器都是通过ZooKeeper来进行协调,并处理HBase服务器运行期间可能遇到的错误。HBase Master Serv转载 2016-06-19 16:44:34 · 376 阅读 · 0 评论 -
HBase Java API
几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescriptor列族(Column Family)Put列修饰符(Column Qualifier)转载 2016-06-19 16:43:34 · 257 阅读 · 0 评论 -
通过Java Api与HBase交互
HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,下面看一下Java api创建、删除表,及记录的增删改查操作:package hbase;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.ha转载 2016-06-19 16:40:54 · 249 阅读 · 0 评论 -
HBase配置性能调优
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:转载 2016-06-19 16:38:40 · 282 阅读 · 0 评论 -
HBase设计与开发性能优化
1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。原创 2016-06-19 16:37:39 · 1066 阅读 · 0 评论 -
HBase客户端API使用
篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作,在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API,分别是1.0和2.0,在较新版本的HBase中使用1.0的API时,很多类和方法都被标记为Deprecated,官方表示旧版本的API将会在3.0版本中删除,所以转载 2016-07-24 19:03:19 · 696 阅读 · 0 评论 -
Hbase 1.2.1 Java API简单demo
自从hbase1.1.3后,hbase的api有很多改动,比如HTablePool,HTable等的类的很多方法已经过时这里简单写几个导入包import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;原创 2016-05-23 18:48:29 · 4142 阅读 · 0 评论 -
hadoop2.7.2分布式集群搭建和生态系统配置
本文只介绍apache版hadoop2.7.2集群环境安装配置,其中的功能使用不做过多说明.详情参考其他资料集群没有配置HA,详情参考其他资料,或本人接下来的文章一 根据官方说明,匹配合适的版本:hadoop使用的是目前比较新的稳定版本hive27 June 2015 : release 1.2.1 availableThis release works with Hadoop 1.x.y, 2.x.y原创 2016-05-15 21:07:35 · 801 阅读 · 0 评论 -
HBase 使用场景和成功案例
有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构,能够告诉你很多。因为HBase有许多公开的产品部署,我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意:不要自我限制,认为HBase只能解决这些使用场景。它是一个初生的技术,根据使用场景进行创新正驱动着系统的发展。如果你有新想法,认为可以受益于HBase提供的转载 2016-06-19 16:45:47 · 674 阅读 · 0 评论