Hbase
Eric-L90
New year,New life
展开
-
HBase的数据的update,是如何保证获取最新数据的
转载自 http://www.aboutyun.com/thread-12452-1-1.html1.hbase威慑么是三维度表?2.hbase如何区别是否是同一条记录?3.hbase是如何保证获取的是最新数据的?阅读之前需要明白什么是wal:WAL(Write-Ahead-Log)是HBase的RegionServer在处理数据插入和删除转载 2015-04-10 10:16:27 · 4255 阅读 · 0 评论 -
HBase中的备份和故障恢复方法
英文原文地址:http://blog.cloudera.com/blog/2013/11/approaches-to-backup-and-disaster-recovery-in-hbase/翻译地址:http://blog.csdn.net/iam333/article/details/38232215本文将对Apache Hbase可用的数据备份机制和大量数据的故障恢复/容灾机制转载 2017-03-07 15:29:34 · 540 阅读 · 0 评论 -
hbase中报错:java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcher.read0(Native
今天在使用hbase的时候,发现总是失败,找出日志一看,都是WARN org.apache.zookeeper.ClientCnxn:Session 0x0 for server ***:2181,unexpected error,closing socket connection and attempting reconnectjava.io.IOException: Connect原创 2016-05-31 11:26:27 · 10208 阅读 · 1 评论 -
hbase调优
转自:http://itindex.net/detail/49632-hbase-%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存转载 2015-11-18 16:54:36 · 550 阅读 · 0 评论 -
HBase预分区解决写热点问题。
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁为小朋友,16-39岁为年轻转载 2015-11-16 09:57:39 · 3123 阅读 · 0 评论 -
kettle连接hbase
org.apache.hadoop.hbase.MasterNotRunningException:The node /hbase-unsecure is not in Zookeeper. It should have been written by the master.Check the value configured in "zookeeper.znode.parent".There c原创 2015-09-21 21:36:29 · 7138 阅读 · 0 评论 -
hbase启动报错hbase-default.xml file seems to be for and old version of HBase
最近又搭建了一下hadoop1.2.1的hadoop集群。搭建过程很顺利。在启动hbase的时候遇到错误:hbase-default.xml file seems to be for and old version of HBase查了一下,是版本的问题。在hbase-site.xml中有版本检查的配置。需要将这里改成不检查就可以了。 hbase.defaults原创 2015-09-19 15:11:18 · 2060 阅读 · 0 评论 -
Thrift 連線至 Hbase 使用Python - ImportError: No module named Thrift
ImportError: No module named Thriftcd /home/grid/thrift-0.9.2/lib/pypython setup.py installhttp://lztian.com/blog/2045.htmlpython通过thrift访问hbasehttp://f.dataguru.cn/thread-转载 2015-07-26 23:12:54 · 2126 阅读 · 0 评论 -
HBase的协处理器问题,prePut函数无法触发。
今天在使用HBase的协处理器的时候,遇到了问题,使用的是prePut方法,相当于触发器。从网上找了个例子,如下:public class TestCoprocessor extends BaseRegionObserver { @Override public void prePut(final ObserverContext e, final Put put, final WA原创 2015-04-09 14:50:00 · 1569 阅读 · 0 评论 -
hbase为避免热点,预先创建分区region
最近在使用hbase的时候,遇到了热点问题。我有三台regionserver,结果入数据的时候,总是在一台机器上写数据,导致io和cpu都很高,最后出现了memstore内存溢出的问题。后来才明白,这是因为刚开始入数据的时候只有一个region,所以数据一直往第一台机子的region上写。等到region到了一定大小之后才开始分割成两个。这样就导致了热点问题。采取的方案就是创建表的时候提前创建好分原创 2015-04-24 10:28:10 · 4177 阅读 · 0 评论 -
CDH 中hbase的Regionserver自动退出问题
最近使用的cloudera manager搭建的hadoop集群。是挺方便的,在使用hbase的时候用到问题了。我使用java客户端去进行入库,为了速度使用的批量提交的模式,开始的时候1000条提交一次,没有问题。后来换成1w条提交一次就出现问题了。regionserver自动退出了,这种情况一般肯定是内存的原因,去找日志,结果什么日志都没有。。。。。日志是正常的。。。。后来才发现,clouder原创 2015-04-08 16:22:25 · 3662 阅读 · 0 评论 -
记一次解决hdfs一直不退出安全模式的问题的过程
重启hdfs后,发现hdfs进入了safemode,因为这是正常情况也就没有管。等他自动恢复正常。去吃了个午饭,睡了个午觉,回来发现日志里一片错误:Name node is is safe mode.这就不正常了,因为还要使用hbase,只能手动退出安全模式。执行:hdfs dfsadmin -safemode leave退出安全模式,然后发现,集群报错。。。说是有块丢失。so,进原创 2017-03-13 14:22:09 · 5859 阅读 · 4 评论