Hbase
DataGPT
透过技术圈百态,体会世间冷暖,树立正确的技术观、人生观、价值观和世界观
展开
-
HBase无法连接ZooKeeper问题
上次搭建HBase环境后,执行登陆服务器时,报下面的错误:hadoop@gpmaster logs]$ hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadoop/hbase-1.0.1.1/lib/slf4j-log4j12-1原创 2015-06-25 23:07:27 · 6587 阅读 · 0 评论 -
HBase客户端访问超时原因及参数优化
默认的HBase客户端的参数配置是没有做过优化的,所以对于低延时响应的HBase集群,需要对客户端的参数进行优化。1. hbase.rpc.timeout以毫秒计算的所有HBase RPC超时,默认为60s。该参数表示一次RPC请求的超时时间。如果某次RPC时间超过该值,客户端就会主动关闭socket。 如果经常出现java.io.IOException: Connection rese原创 2016-08-29 18:53:28 · 24694 阅读 · 0 评论 -
HBase API
HBase 常用类介绍:JAVA API 和 HBase数据库模型之间的关系JAVA 类Hbase 数据模型HBaseAdmin数据库(database)HBaseConfigurationHTable表(table)HTableDescriptor原创 2015-09-20 12:00:12 · 1530 阅读 · 0 评论 -
ZooKeeper 典型的应用场景
Zookeeper 从设计模式角度来看,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应,从而实现集群中类似 Master/Slave 管理模式,关于 Zookeeper 的详细架构等内部细节可以阅读 Zookeeper 的源转载 2015-09-20 12:17:00 · 1528 阅读 · 0 评论 -
HBase Shell
1) Shell命令帮助hbase(main):025:0> helpCOMMAND GROUPS: Group name: general Commands: status, table_help, version, whoami ………………….会出现很多命令组,然后也可以查看每个命令组下面命令的帮助hbase(main):025:0> help "s原创 2015-09-20 11:58:23 · 1648 阅读 · 0 评论 -
什么情况下使用HBase
成熟的数据分析主题,查询模式已经确立并且不轻易改变传统的关系型数据库已经无法承受负荷,高速插入,大量读取适合海量的,但同时也是简单的操作(例如value-key) 场景一:浏览历史关系数据库的困难: 简单的事情只要上了量就会变得无比复杂的事情 Orderby耗费很多性能 大量发生,但又无法分布式处理 顾客需要实时看到自己的足迹,因此不能原创 2015-09-20 12:01:42 · 2720 阅读 · 0 评论 -
HBase和MapReduce
HBase集成了MapReduce框架,对表中大量的数据进行并行处理HBase为MapReduce每个阶段提供了相应的类用来处理表数据 InputFormat类: HBase实现了TableInputFormatBase类,该类提供了对表数据的大部分操作 其子类TableInputFormat则提供了完整的实现,用于处理表数据并声称键值对 Mapper类和Reduc原创 2015-09-20 12:02:35 · 1389 阅读 · 0 评论 -
HBase Default Configuration
The documentation below is generated using the default hbase configuration file, hbase-default.xml, as source.hbase.tmp.dirDescriptionTemporary directory on the local filesystem. C原创 2015-08-19 21:24:23 · 1923 阅读 · 0 评论 -
HBase介绍
HBase是一个分布式,面向对象的开源数据库,该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在hadoop之上提供了类似于Bigtable的能力。HBase是apache的Hadoop项目的子项目。HBase不同于一般的关系型数据库,它是一个原创 2015-08-16 22:17:33 · 3378 阅读 · 0 评论 -
Bigtable: A Distributed Storage Systemfor Structured Data
关键字Bigtable GFS 分布式数据库 == 目标问题 ==高性能,高可靠性,可扩展的数据库,用于服务Google以搜索引擎,Earth为代表的产品的数据存储需求 == 核心思想 == Bigtable的核心数据模型是一个稀疏的多维Map数据结构,以 (行-row, 列-column, 时间戳-timestamp)为索引,在每个转载 2015-06-11 09:33:39 · 1898 阅读 · 0 评论 -
HBase性能优化
背景 hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面的一些经验也原创 2016-08-29 16:58:07 · 2184 阅读 · 0 评论