hbase
文章平均质量分 73
caomiao2006
这个作者很懒,什么都没留下…
展开
-
hbase shell基础和常用命令详解(转)
HBase shell的基本用法hbase提供了一个shell的终端给用户交互。使用命令hbase shell进入命令界面。通过执行 help可以看到命令的帮助信息。以网上的一个学生成绩表的例子来演示hbase的用法。namegradcoursemathartTom59787转载 2015-03-25 14:51:27 · 502 阅读 · 0 评论 -
使用Hive读取Hbase中的数据
第一步,启动hadoop,命令:./start-all.sh第二步,启动hive,命令:./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hive-0.6.0/lib/hbase-0.20.3.jar,/home/dream-victor/hive转载 2016-07-16 20:55:02 · 810 阅读 · 0 评论 -
hbase的内容查询
http://abloz.com/2012/08/22/hbase-how-like-the-sql-like-query-value-as.html一、shell 查询hbase 查询相当简单,提供了get和scan两种方式,也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表,用sql语句自动生成mapreduce进行。但是这种简单,有时为了达到目的转载 2016-07-16 20:53:57 · 557 阅读 · 0 评论 -
HBase总结(十一)hbase Java API 介绍及使用示例
几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescriptor列族(Column Family)Put列修饰转载 2016-05-29 19:13:59 · 2069 阅读 · 0 评论 -
基于HBASE的并行计算架构之rowkey设计篇
HBASE作为大数据容器目前在业界得到认可,并行计算是应对大数据的核心思路,而分布式设计是并行计算架构的基本方法,本文将基于HBASE讲解一种并行计算架构的设计方法。1. 大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,但是在下午5点才结束闭并生成出转载 2016-04-11 22:46:23 · 972 阅读 · 0 评论 -
hbase常识及habse适合什么场景
当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库?答案是什么,如果我们使用的传统数据库,肯定留有多余的字段,10个不行,20个,但是这个严重影响了质量。并且如果面对大数据库,pt级别的数据,这种浪费更是严重的,那么我们该使用是什么数据库?hbase数个不错的选择,那么我们对于hbase还存在下列问题:1.Column Family代表什么?转载 2015-03-24 15:14:40 · 776 阅读 · 0 评论 -
大数据性能调优之HBase的RowKey设计
文本推荐横屏阅读1 概述HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加转载 2015-03-24 16:19:34 · 723 阅读 · 0 评论 -
HBase体系结构(转)
HBase的服务器体系结构遵循简单的主从服务器架构,它由HRegion服务器(HRegion Server)群和HBase Master服务器(HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器,而HBase中所有的服务器都是通过ZooKeeper来进行协调,并处理HBase服务器运行期间可能遇到的错误。HBase Master Serv转载 2015-03-25 14:49:17 · 636 阅读 · 0 评论 -
HBase Java API类介绍
几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库(DataBase)HBaseConfigurationHTable表(Table)HTableDescriptor列族(Column Family)Put列转载 2015-03-25 14:51:49 · 494 阅读 · 0 评论 -
通过Java Api与HBase交互(转)
HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例,介绍常用的Api。import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseCo转载 2015-03-25 14:53:02 · 454 阅读 · 0 评论 -
在SQuirrel中使用Phoenix操作HBase——创建表和视图
HBase,一个NoSQL数据库,可存储大量非关系型数据。HBase,可以用HBase shell进行操作,也可以用HBase Java api进行操作。HBase虽然是一个数据库,但是它的查询语句,很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase,那就很Perfect了。 现有工具有很多Hive,Tez,Impala,Shark/Spark,转载 2015-06-11 22:51:56 · 9285 阅读 · 1 评论 -
使用Apache Phoenix 实现 SQL 操作HBase
使用Apache Phoenix 实现 SQL 操作HBase标签: apache phoenix sql | 发表时间:2015-01-27 08:17 | 作者:分享到:出处:http://www.iteye.comApache Phoenix 相信大家并不陌生,它是HBase的SQL驱动,Phoenix 使得Hbase 支持通过JDBC的方式进行访问,并将转载 2015-06-11 22:52:58 · 1146 阅读 · 0 评论 -
NoSQL设计思想(从辅到主)
NoSQL架构实践(一)——以NoSQL为辅本文为凤凰网负责底层组的研发工作的孙立同学在InfoQ上发表的NoSQL系列文章之一,本文探讨了使用NoSQL作存储的几种典型模式,对NoSQL的实践及应用,具有很强的指导意义。前面《为什么要使用NoSQL》和《关系数据库还是NoSQL数据库》两篇从大体上介绍了为什么要用NoSQL,何时该用NoSQL。经常有朋友遇到困惑,看到NoSQL的转载 2015-03-25 13:31:48 · 5542 阅读 · 0 评论 -
Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服转载 2015-03-25 14:03:09 · 680 阅读 · 0 评论 -
hbase数据的存放顺序
rowkey rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的,关系到你应用层的查询效率。我们知道,rowkey是以字典顺序排序的。而存储的字节码,字典排序,我们知道,如果是字 母,那就是字母的顺序,比如,有两个rowkey,rowkey1:aaa222,rowkey2:bbb111,那么r转载 2016-10-07 20:18:06 · 6988 阅读 · 0 评论