HBase
冰诺莫语
这个作者很懒,什么都没留下…
展开
-
HBase之RowKey设计
HBase RowKey设计HBaseHBase的存储RowKey设计原则热点问题HBase工作中一直有使用到HBase,但是却一直没有好好的总结整理过,最近换工作过程中,经常会被问到HBase相关的知识(裸面被鞭打的惨不忍睹啊),在回顾、准备面试的同时,也借此机会记录一下,希望能够在帮助自己记忆理解的同时,可以方便大家!HBase rowkey即是HBase的主键,HBase数据的查询,主要是基于rowkey进行,无论是通过rowkey进行唯一查询还是通过范围匹配查询,都是基于rowkey来实现,因原创 2020-11-08 12:58:53 · 1234 阅读 · 0 评论 -
HBase ImportTsv导入数据
一、HBase介绍HBase是Apache Hadoop中的一个子项目,依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的命令就可以看到HBase数据存储文件夹的目录结构,还可以通过Map/Reduce对HBase进行操作。HBase是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式。HBase是介于Map Entry(ke原创 2016-08-10 17:31:45 · 6848 阅读 · 2 评论 -
HBase数据Export & Import
1、将数据导出$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.client.scanner.caching=1000 -Dhbase.export.scanner.batch=10 TableName(导出的表名) hdfs://host:8020/user/hbase/TableName_HDFS(导原创 2016-12-31 22:05:01 · 4000 阅读 · 0 评论 -
访问HBase遇到java.lang.OutOfMemoryError: unable to create new native thread的解决方法
在HBase使用的过程中,通过java程序查询HBase数据时,在某机器上hbase用户下压测时遇到这个问题,导致程序异常挂掉。在网上google了一下,发现原因是: 当前用户下无法创建更多的线程(当然root用户没这个问题)下面是解决方案: 系统能够创建的最大线程数:(MaxProcessMemory - JVMMemory – 系统内存) / (ThreadStackSize) = Numb原创 2017-03-14 17:02:23 · 4080 阅读 · 0 评论 -
扫雷实用帖:HBase读延迟的12种优化套
任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。 总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。 Full GC问题的解决方案目前主要有两方面需要注意,一方面需要查看GC日志确认是哪转载 2017-03-14 17:09:41 · 550 阅读 · 0 评论 -
HBase表备份&预分区
HBase表备份在HBase中,一般来说会预先设计RowKey,一个合理的rowkey设计不仅会影响到后续使用过程中的查询速度,对于数据的存储也是有一定影响的。不合理的rowkey设计会导致热读或者热写。假如初始阶段未做好rowkey的设计,并没有做合理的预分区,可能在后面过程中,会做表的备份,然后对原表做预分区,再讲数据导入原表,下面看下表备份:01. hbase shell> disable '原创 2017-06-10 15:04:14 · 630 阅读 · 0 评论