hbase
文章平均质量分 64
逍锅锅_
这个作者很懒,什么都没留下…
展开
-
hbase缓存机制
regionserver的缓存包含了memestore和blockcache两种,其中memstore用于写缓存(读缓存也包括),blockcache用于读缓存。regionserver给每一个region都分配一个memstore,数据写入的过程中先写入到memstore,当memstore达到设定的阈值后(由hbase.hregion.memstore.flush.size参数控制),会触发f原创 2018-01-23 14:14:04 · 2892 阅读 · 0 评论 -
(hbase开发 一) Failed to identify the fs of dir hdfs://linuxtbj:8020/hbase/lib, ignored java.io.IOExcep
在使用 java api 开发hbase过程中,遇到了如下的警告:WARN [main] util.DynamicClassLoader: Failed to identify the fs of dir hdfs://hostname:8020/hbase/lib, ignoredjava.io.IOException: No FileSystem for scheme: hdfs原创 2017-11-23 15:09:47 · 5052 阅读 · 0 评论 -
(hbase开发 二) 使用maven配置CDH开发环境
由于hadoop生产集群使用的是CDH,所以在用java api开发程序的时候必须使用CDH版本的jar包。从maven中央仓库镜像地址(http://mvnrepository.com/)是能够找到CDH hadoop和hbase的jar包的,这些jar包可以从镜像站手动下载,但是如果用maven在eclipse上配置CDH开发环境,这些jar包却无法自动下载,包括我将setting.xml原创 2017-11-23 18:27:17 · 3811 阅读 · 4 评论 -
hbase rowkey的设计和预分区
在项目中结合使用了hive和hbase,需要把hive中的表插入到hbase,hive表都经过了打标签处理,共包含9个字段,根据业务需求,此时需将hive表中的routermac字段(string类型)设计成hbase表中的rowkey,hive中是每天一张表,hbase中是每月一张表。首先是进行预分区,由于集群共有20个regionserver,则设置40个分区(一)统计hive表中原创 2018-01-24 15:09:55 · 1119 阅读 · 0 评论 -
如何将hive的执行结果返回给一个变量
首先可以将hive sql写入python脚本假如有如下hive sql:hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'一般在python中按照如下方式执行该hive sql:os.system(hive_cmd)但是当我需要在程序中拿到count()的执行结果时,使用os.s原创 2018-01-25 14:42:12 · 13384 阅读 · 0 评论 -
HBase region is not online
hbase集群加入一台异构机器后,跑任务报错:org.apache.hadoop.hbase.NotServingRegionException: Region … is not online on ${node}使用命令检查和修复:hbase hbck -details ‘namespace:table’显示hbase 集群inconsistency然后修复之:hbase hbc...原创 2019-04-18 17:52:03 · 617 阅读 · 0 评论