大数据 hbase
L-Zhang
这个作者很懒,什么都没留下…
展开
-
HBase停止节点报错“pid不存在 ”
HBase停止节点报错,pid不存在的问题 停止HBase节点时报错如下:[root@hregion92 bin]# /opt/hbase-0.98.7/bin/hbase-daemon.sh stop regionserverno regionserver to stop because no pid file /opt/hbase-0.98.7/pids/hbase-root-regionse原创 2017-07-01 15:48:57 · 3408 阅读 · 1 评论 -
深入HBase架构解析(一)
深入HBase架构解析(一)前记公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译、半原创吧。H转载 2017-09-21 11:18:05 · 550 阅读 · 0 评论 -
Hbase分析报告(tablename+startrowkey_regionid/-meta-)
Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写Hbase是一个分布式开源数据库,基于Hadoop分布式文件系统,模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。Hbaes的目标是处理非常庞大的表,可以用普通的计算机处理超过10亿行数据,并且有数百万列元素组成的数据表。Hbase可以直接使转载 2017-09-21 10:20:27 · 2791 阅读 · 0 评论 -
hbase收集
hbase HBase体系结构 hbase数据模型 HBase使用场景和成功案例 Hbase配置手册 hbase shell(官方) hbase shell基础和常用命令详解 Hive HBase集成(官网) HBase Java API类介绍 通过Java Api与HBase交互 HBase二级索引与Joi原创 2017-09-18 13:53:41 · 1281 阅读 · 0 评论 -
hive收集
hive Hive体系架构 应用 Hadoop和Hive的数据处理流程 管理 hive部署手册 hive元数据中utf8的修改 hive并发调用的运行方式-个人经验篇 hive Cli常用操作(翻译自Hive wiki) hive数据类型(翻译自Hive Wiki) hive 创原创 2017-09-18 13:52:02 · 1312 阅读 · 0 评论 -
数据处理收集
海量数据 那些年Google公开的大数据领域论文 大数据量,海量数据 处理方法总结 布隆过滤器应用 Google Dremel 原理 – 如何能3秒分析1PB Google Spanner原理- 全球级的分布式数据库 悉数那些“巨型”数据仓库 Hadoop在业界的使用情况 淘宝Hadoop集群的概况原创 2017-09-18 13:46:33 · 683 阅读 · 0 评论 -
HBase替换Memcachedb
背景: Memcachedb现在没人维护了,还老是出问题,宕机 and 磁盘 over。 老大提出换掉它,找人研究了多日,由于忙就没音了。 算它命短,适逢设备精简,Memcachedb占着几台实体机器。 两道问题终于推动了换掉的进程。 调研: 公司利用HBase提供了存储服务化,于是就研究是否可利用HBase替换掉Memcachedb原创 2015-01-21 20:10:57 · 2603 阅读 · 0 评论 -
HBase停止节点报错,pid不存在
HBase停止节点报错,pid不存在的问题 停止HBase节点时报错如下:[root@hregion92 bin]# /opt/hbase-0.98.7/bin/hbase-daemon.sh stop regionserverno regionserver to stop because no pid file /opt/hbase-0.98.7/pids/hbase-root-原创 2015-01-29 11:59:11 · 8957 阅读 · 2 评论 -
HBase操作注意事项
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty. 看下面的代码: Get get = new Get(Bytes.toBytes("100")); get.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));这里加入了列限定,也就是只返回列族info下面的name字段。但是如果name字段根本不存原创 2017-07-01 16:04:36 · 2979 阅读 · 0 评论 -
HBase 常用Shell命令
1.进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami2.表的管理1)查看有哪些表hbase(main)> list2)创建表# 语法:cr转载 2017-07-01 16:04:30 · 3353 阅读 · 0 评论 -
HBase日常维护
一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION => 'LZO转载 2017-07-01 16:04:24 · 2288 阅读 · 0 评论 -
HBase配置优化
hbase配置修改:(split是因为hfile过多,进行split,split之后进行compact 可以可能要有人喷了,hfile多了应该compact才对啦。贴出0.98.1的代码,大致逻辑是region没有block的compact(优先级大于等于1的),则进行split)private boolean flushRegion(final FlushRegionEntry fqe) {转载 2017-07-01 16:03:44 · 2753 阅读 · 0 评论 -
hadoop balancer hbase balancer
Hadoop 均衡器Hadoop在运行过程中,其datanode的块会越来越不平衡,不平衡的集群会导致部分datanode相对更繁忙。Hadoop的均衡器是一个守护进程。它会重新分配块,将块从忙碌的datanode移到相对空闲的datanode。同时坚持复本策略,将复本分散到不同机架,以降低数据损坏率。集群均衡标准:每个datanode的使用率和集群的使用率非常接近,差距不超过给定的阀值。data原创 2017-07-01 15:58:21 · 4567 阅读 · 0 评论 -
HBase Full GC宕机
最近在给HBase集群进行扩容,然而事事不顺:1.新添加的机器中有一台竟然无故重启,这个问题直接推给了系统部。2.部署完HDFS和HBase后,启动都没有任何问题,然而过一夜后,HBase节点全部宕掉。更奇怪的是,以前老集群中的节点没有问题,运行正常,只有新添加的几个节点宕掉,而且HDFS运行也正常(除了机器重启的那个节点)。于是各种查看日志。HBase日志显示如下:JVM暂停时间过长,导致无法与原创 2017-07-01 15:58:18 · 3313 阅读 · 2 评论 -
Hadoop-HBASE 热添加新节点
Hadoop-HBASE 热添加新节点环境:192.168.137.101 hd1192.168.137.102 hd2192.168.137.103 hd3192.168.137.104 hd4四节点hadoop和hbase1、设置hostnamevi /etc/sysconfig/networkhostname hd5设置完毕后需要退出重新登录下方可生效查看防火墙状态:service ipta原创 2017-07-01 15:54:49 · 3738 阅读 · 0 评论 -
Hbase组件间交互
Hbase实现 Hbase由一个Master节点负责协调管理一个或多个RegionServer从属机.Master负责启动,把区域分配给注册的RegionServer,恢复RegionServer的故障. Master负载很轻. RegionServer负责零个或多个区域的管理以及响应客户端的读写请求, RegionServer还负责区域的划分,并通知Master有了新的子区域Hbase依赖原创 2017-07-01 15:53:54 · 2924 阅读 · 0 评论 -
导致Hbase挂掉的场景
导致Hbase挂掉的场景HMasterHMaster会出现异常(执行abort())停止的场景如下:1.zk异常导致的master停止服务是最常见的场景,涉及操作包含但不限于以下: a)Zk链接超时,超时时间通过zookeeper.session.timeout配置,默认为3分钟, 如果fail.fast.expired.active.master配置的值为false(默认为false),则不会原创 2017-07-01 15:53:51 · 6629 阅读 · 0 评论 -
Online Apache HBase Backups with CopyTable
源自:http://blog.cloudera.com/blog/2012/06/online-hbase-backups-with-copytable-2/CopyTable is a simple Apache HBase utility that, unsurprisingly, can be used for copying individual tables within an HBas转载 2017-07-01 15:50:32 · 2335 阅读 · 0 评论 -
深入HBase架构解析(二)
深入HBase架构解析(二)前言这是《深入HBase架构解析(一)》的续,不多废话,继续。。。。HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如转载 2017-09-21 11:21:21 · 332 阅读 · 0 评论