- 博客(6)
- 资源 (40)
- 问答 (1)
- 收藏
- 关注
原创 HBase性能优化指南
垃圾回收优化当region服务器处理大量的写入负载时,繁重的任务会迫使JRE默认的内存分配策略无法保证程序的稳定性 所以我们可能需要对region服务器的垃圾回收机制进行一些参数调整(因为master并不处理实际任务,所以没有优化的必要)首先来了解JAVA内存中的几个概念在HBase构架中我们可以知道 数据会被写入到memstore内存中直到达到一个阈值之后刷写持久化到磁盘 但是由于数据是客户
2016-07-19 16:55:24 6588
原创 HBase构架
存储结构HBase构架如上图所示,一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点,一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer上,每个HRegionServer都有一个HLog文件记录该节点上数据的CRUD操作记录 图中错误的地
2016-07-12 19:34:19 4530
原创 HBase客户端API使用
篇幅中使用的HBase版本为1.1.2Java APIHBase提供了一套Java API来支持Java程序对HBase数据库的请求操作,在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API,分别是1.0和2.0,在较新版本的HBase中使用1.0的API时,很多类和方法都被标记为Deprecated,官方表示旧版本的API将会在3.0版本中删除,
2016-07-21 19:07:59 9439
原创 HBase集群管理
通过之前文章的描述,我们已经有能力设计并部署搭建HBase集群了 当我们的HBase集群开始运行的时候,新的挑战又来了 例如,我们可能会遇到在集群运行的时候添加或者删除节点 又或者需要拷贝/备份整个集群的数据等等 如何在集群运行的时候以最小的代价来执行这些操作呢? 下面总结一下HBase集群的相关运维和管理知识点运维任务添加/删除节点在HBase中动态添加/删除节点非常简单,只需要一些命
2016-07-20 19:01:21 1679
原创 HBase概览
近期准备系统的学习一下HBase的知识,包括构架和原理等方面,以便为后续的开发工作做准备,做到知其然而之所以然的状态,而不再是瞎子摸象般的搞开发 本篇作为开篇,只是对HBase做一个大体的介绍,各个小节没有很大的关联性,很多只是将系统中一些繁杂又有用的东西记录下来,以备日后查阅学习路线整理了一下手头上HBase的相关资料,发现特别零散,没有一个系统性的指导,所以特别想入一本《HBase权威指南》
2016-07-20 13:43:45 2897
原创 HBase高级用法
行健设计在HBase中有两类基本的键结构:行健和列键 这两者都存储着有意义的信息,不仅仅是该键对应的值: 键本身存储的内容 键的排列顺序 在HBase中,键的排序顺序是十分重要的概念如之前所说,HBase的键分为两种: 列键:包括了列族名和限定符,定位到列的索引 行健:相当于关系型数据库中的主键,通过行健得到逻辑布局中一行的所有列 如
2016-07-18 09:52:35 7970 1
tachyon-0.6.4-bin.tar.gz
2015-05-29
在spark streaming中实时更新mllib的ALS算法的模型遇到的问题!
2015-06-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人