![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
mas2005
数据挖掘
展开
-
HBase优化实战
背景Datastream一直以来在使用HBase分流日志,每天的数据量很大,日均大概在80亿条,10TB的数据。对于像Datastream这种数据量巨大、对写入要求非常高,并且没有复杂查询需求的日志系统来说,选用HBase作为其数据存储平台,无疑是一个非常不错的选择。HBase是一个相对较复杂的分布式系统,并发写入的性能非常高。然而,分布式系统从结构上来讲,也相对较复杂,模块繁多,各个模块...原创 2018-08-10 17:12:53 · 249 阅读 · 0 评论 -
通过BulkLoad快速将海量数据导入到Hbase
在第一次建立Hbase表的时候,我们可能需要往里面一次性导入大量的初始化数据。我们很自然地想到将数据一条条插入到Hbase中,或者通过MR方式等。但是这些方式不是慢就是在导入的过程的占用Region资源导致效率低下,所以很不适合一次性导入大量数据。本文将针对这个问题介绍如何通过Hbase的BulkLoad方法来快速将海量数据导入到Hbase中。总的来说,使用 Bulk Load 方式由于利用了...原创 2018-11-27 11:13:22 · 197 阅读 · 0 评论 -
Hbase 操作时出现:Server is not running yet
问题:解决办法:1)启动Hadoop2)输入指令:hadoop dfsadmin -safemode leave出现该问题的原因是:hadoop处在安全模式下。所以hbase的操作会出现异常。造成此问题的故障是:在没有退出旧版Hbase的情况下,擅自将其删除,然后按照了新版本的Hbase,HADOOP会自动进入安全模式。...原创 2019-08-22 23:03:03 · 5017 阅读 · 0 评论