hbase
文章平均质量分 72
hua840812
这个作者很懒,什么都没留下…
展开
-
Phoenix 使用sql查询hbase
http://blog.csdn.net/morning_pig/article/details/8585088Phoenix优势:1.动态的将一个查询转换为多个scan并行执行,使用startRowKey和stopRowKey进行拆分;2.使用hbase0.94版本及之后的coprocessor特性;3.Filter。1 Phoen转载 2013-12-30 11:02:38 · 1545 阅读 · 1 评论 -
hbase介绍
一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop be转载 2013-08-21 10:54:28 · 625 阅读 · 1 评论 -
GetHFileFileInfo.java
package hfile.inputformat;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import or原创 2012-04-18 10:00:28 · 665 阅读 · 0 评论 -
WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Region was hijacked
转自:http://mail-archives.apache.org/mod_mbox/hbase-issues/201112.mbox/%3C7071407.41918.1324627472698.JavaMail.tomcat@hel.zones.apache.org%3ETwo adjacent assignments lead region is in PENDING_OPEN s转载 2012-04-15 13:30:03 · 2326 阅读 · 0 评论 -
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量,带压缩测试)
转自:http://blog.csdn.net/kalaamong/article/details/7275242首先描述一下现象最近对HDFS底层做了许多优化,包括硬件压缩卡,内存盘及SSD。在出测试报告时发现老问题,HBase写入速度不稳定,这个大家都习以为常了吧,就是压测时,只要row size稍小一点,不管你怎么压,HBase的RegionServe转载 2012-04-28 16:32:16 · 1931 阅读 · 0 评论 -
读取HFile 按Timestamp 删除 HBase 数据
转自:http://blog.csdn.net/eryk86/article/details/7472335[java] view plaincopyimport java.io.IOException; import java.text.SimpleDateFormat; import java.util.Calendar; import转载 2012-04-18 10:03:16 · 1247 阅读 · 0 评论 -
生成HFile以及入库到HBase
http://blog.csdn.net/dajuezhao/article/details/6365053 生成HFile以及入库到HBase分类: Hadoop2011-04-26 18:38 1831人阅读 评论(3) 收藏 举报一、MR生成HFile文件[java] view plaincopy转载 2012-03-31 11:18:01 · 3183 阅读 · 0 评论 -
ClientCnxn: Session 0x0 for server null, unexpected error Connection refused
转自:http://blog.csdn.net/adsitbbs/article/details/6680976坑爹的异常!这个异常碰到过多次每次有可能会是不同的地方出现问题导致,现在总结出来该异常的总体解决方向为:是zookeeper访问regionserver时候抛出的,一般是hbase-site.xml中的dns设置有问题,或者dns本身有问题,症状就为regionser转载 2012-03-27 16:44:16 · 1056 阅读 · 0 评论 -
hbase实战——(1.1 nosql介绍)
什么是nosqlNoSQL(NoSQL = Not Only SQL),意思是不仅仅是SQL的扩展,一般指的是非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,传统的电信行业动辍就千万甚至上亿的数据,甚至有客户提出需要存储相关的日志数据50年以上,暴露了很多难以克服转载 2014-03-21 10:20:01 · 456 阅读 · 0 评论 -
HBase常见问题解答
目前NoSQL产品最被人诟病的就是其稳定性,不得不承认,目前HBase离做到数据库那样的高稳定还有距离(丢数据、不能读写、DDL失败等严重问题),这篇blog将用来记录我们在运维HBase时碰到的问题(会不断更新),希望能给使用HBase的同学有一些帮助。 1、单台regionserver的region数很多后写速度疯狂下降 具体请见:http://koven2049.itey转载 2012-04-05 17:28:52 · 907 阅读 · 0 评论 -
HBase 增量备份和还原工具
转自:http://www.iteye.com/topic/1114721 HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中,每天做增量备份,每个月15日做全备份。转载 2011-10-12 14:07:11 · 761 阅读 · 0 评论 -
HBase迁移数据方案1(两个集群不能通信)
转:http://www.iteye.com/topic/980884前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。 但是如果两个集群在不同的网络,没法通信呢? 今天测试了一个方案: 把某个表(table1)从集转载 2011-10-12 14:03:26 · 1233 阅读 · 0 评论 -
关于HFile的思考--创建和解析HFile
转自:http://hbase.info/2011/07/22/think_about_hfile原文链接:http://blog.data-works.org/2011/07/关于HFile的思考/原文作者郭鹏,国内Cassandra领域的先驱者和实践者。资深软件开发工程师,擅长分布式应用程序的开发和使用,实践经验极其丰富。新浪微博:@逖靖寒————————————–转载 2012-03-13 10:37:36 · 920 阅读 · 0 评论 -
修复hbase region hole问题流程
修复hbase region hole问题流程1,查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失,考虑其他办法, 首先考虑用major_compact对该表进行更新看是否会检测到问题并修复,major_compact完成之后未成功 2,重新起动hbase集群,是否会进行闭环检测?未成转载 2012-03-27 16:32:01 · 1071 阅读 · 0 评论 -
删除hbase表region块脚本
文件hua.txt格式:CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987a9d93e0f744f5.CHAT_INFO,1318156265075530000260366,1318173760068.2e9ac5a34869209f95ab46bf72061fd6.CHAT_INFO,131815原创 2012-04-15 03:50:38 · 3582 阅读 · 0 评论 -
hbase故障维护
hbase集群维护总结1、集群故障现象以及解决方法 故障现象解决方法“hbase shell”命令无法显示list以及meta丢失查看集群hbase的regionserver日志;一般重启hbaseHbase表显示不全“Hbase hbck”命令查看具体细节,很有可能有”no empty sta原创 2012-04-15 00:52:49 · 4447 阅读 · 1 评论 -
hbase修复.META.表与HDFS文件不一致问题
在实际环境中遇到hbase fbck检查报hdfs数据块与META表信息不一致的错误。表现就是数据写入无法进行。 经过检查,发现在.META.表中对应的一些region块的子列少了regioninfo这一列;同时在hdfs的出错region文件夹下查看发现本来该是.regioninfo的文件夹变成了.tmp文件夹。在网上查了些资料,发现是region做分裂的时候失败,导致region转载 2012-02-01 12:01:02 · 646 阅读 · 0 评论 -
分布式数据库HBase
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bi转载 2013-08-21 10:38:13 · 563 阅读 · 0 评论 -
HBase Architecture(译):上
转自:http://hi.baidu.com/rebeccacao/blog/item/059aee1ce51b5d014134179e.htmlHBase Architecture(译):上2012-01-04 14:01译者: 2011-10-1出处:http://duanple.blog.163.com/blog/static/70971767转载 2012-04-16 14:10:19 · 704 阅读 · 0 评论 -
hbase性能调优
转自:http://rdc.taobao.com/team/jm/archives/975淘宝JAVA中间件团队博客配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移转载 2011-10-22 11:59:54 · 416 阅读 · 0 评论 -
Hbase MapReduce例子
Hbase Mapreduce例子http://hadoop.apache.org/hbase/docs/current/api/org/apache/hadoop/hbase/mapreduce/package-summary.html#package_descriptionh转载 2011-07-19 16:09:11 · 1640 阅读 · 0 评论 -
hbase中region的规划与硬盘配置分析
转自:http://www.linuxso.com/sql/14345.html Hbase在逻辑上的存储最小单位是Region,物理上来说事HFile。每个Region由多个HFile组成。那么,是否有一个推荐值,确定每台regionserver上运行多少个region,,每个region的size多大是最合适的呢? 看到《Hbase权威指南》中有一段话写道:转载 2012-04-16 15:55:35 · 972 阅读 · 0 评论 -
HFile详解-基于HBase0.90.5
转自:http://cornerinfo.sinaapp.com/post-2.htmlpost by 焰 / 2012-1-20 16:40 Friday1. HFile详解HFile文件分为以下六大部分序号名称描述1数据块由多个block(块)组成,每个块的格式为:[块头转载 2012-03-13 10:35:45 · 836 阅读 · 0 评论 -
http://www.yankay.com/wp-content/hbase/book.html
http://www.yankay.com/wp-content/hbase/book.html转载 2012-02-01 17:58:45 · 1032 阅读 · 0 评论 -
hbase bulkload
转载:http://blog.csdn.net/kirayuan/article/details/7441447hbase bulkload分类: hbase2012-04-09 16:41 5人阅读 评论(0) 收藏 举报 bulkload的方式导入数据是hbase的一项相当好的数据导入工具,特别适合做为新系统的历史数据导入工具!hbase本身也转载 2012-04-09 16:54:49 · 903 阅读 · 0 评论 -
基于Solr的HBase多条件查询测试
http://www.cnblogs.com/chenz/articles/3229997.html背景:某电信项目中采用HBase来存储用户终端明细数据,供前台页面即时查询。HBase无可置疑拥有其优势,但其本身只对rowkey支持毫秒级的快速检索,对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案,但是这些方案要么太复杂,要么效率太低,本文只对基于Sol转载 2014-04-18 09:24:04 · 765 阅读 · 1 评论