hadoop
文章平均质量分 57
alexxiyang
java,nodejs,php
展开
-
《HBase权威指南》读书笔记10:第十章 集群监控
监控框架HBase使用Hadoop的监控框架,基于MetricsContext接口来处理监控数据点的生成原创 2015-10-31 23:25:40 · 2368 阅读 · 0 评论 -
《HBase权威指南》读书笔记9:第九章 高级用法
行键设计高表与宽表高表:表中列少行多宽表:表中列多行少Hbase只能按行分片,因此高表更有优势。把需要检索的条件尽量放到行键rowkey里面去宽表适合需要行级原子性的需求辅助索引由客户端管理索引:缺点比优点更多带索引的事务型Hbase: ITHbase (个人认为要远离在原本就不成熟的HBase上的更不成熟的封装)带索引的Hbase: IHbase (个人认为要远离在原本就不成熟的HBase上的原创 2015-10-28 17:38:08 · 1719 阅读 · 1 评论 -
《HBase权威指南》读书笔记1
1.4 HBase结构1.4.2 HBase 的表、列和单元格基本单位是column多column组成row一个row有唯一rowkey每个column有多个版本,多个版本存储在单元格(cell)中行序是按照字典顺序进行排序的,意思是从左到右一次对比每一个键关于排序:排列顺序如果跟预期的不一样,需要补键,比如 row-1 永远小于 row-2,无论后面是什么,将始终按照这个顺序排列思考这有可能影原创 2015-10-14 17:13:38 · 2675 阅读 · 1 评论 -
[HBase] LSM树 VS B+树
原帖地址: http://blog.csdn.net/dbanote/article/details/8897599LSM树是HBase里非常有创意的一种数据结构,它和传统的B+树不太一样,下面先说说B+树。1 B+树相信大家对B+树已经非常的熟悉,比如Oracle的普通索引就是采用B+树的方式,下面是一个B+树的例子:根节点和枝节点很简单,分别记录每个叶子节点的最小值,并用一个指针指向叶子节点。转载 2015-10-14 15:30:36 · 1139 阅读 · 0 评论 -
《HBase权威指南》读书笔记8:第八章 架构
8.1 数据查找和传输B+树:B+树比B树的改进为叶子节点也是顺序排放的LSM(log-structured merge-tree)树存储系统概述原创 2015-10-26 00:48:34 · 2404 阅读 · 2 评论 -
《HBase权威指南》读书笔记12:第十二章 集群管理
运维任务减少节点原创 2015-11-09 23:38:50 · 2449 阅读 · 0 评论 -
《HBase权威指南》读书笔记4
第四章 客户端API:高级特性4.1过滤器所有过滤器都在服务器端生效,叫 谓词下推(predicate push down)继承自compareFilter的Filter比较特殊,多了一个 compare() 方法HBase内置比较器comparator比较器描述BinaryComparator使用Bytes.compareTo() 比较当前值与阀值BinaryPrefixComparator与上原创 2015-10-22 22:50:02 · 2817 阅读 · 0 评论 -
《HBase权威指南》读书笔记7:第七章 与MapReduce 集成
框架MapReduce 被设计成在可扩展方式下解决超过TB级数据处理过程中的问题。应当有一种方法可以建立一个性能随机器数增加而线性提升的系统,这就是mapreduce努力做到的。原创 2015-10-23 16:24:52 · 1565 阅读 · 0 评论 -
《HBase权威指南》读书笔记5:第五章 客户端API: 管理功能
类似传统数据库中的DDL 和 DML模式定义表表描述符 HTableDescriptorWritable 和无参数的构造函数大部分类都有一个无参数的构造函数,这些类都实现了Hadoop 的 Writable接口。任意不相交系统间的远程通信:例如客户端与服务端或者服务端之间彼此通信,都使用了Hadoop RPC框架。框架中需要远程方法的参数都实现 Writable接口,进而能够序列化对象并进行传输。原创 2015-10-23 00:11:47 · 1912 阅读 · 0 评论 -
《HBase权威指南》读书笔记6:第六章 可用客户端
REST, Thrift, 和 AvroREST 和 SOAP都会带来巨大的网络开销,于是很多公司开发自己的RPC层google 开发了 Protocol Buffer 不过由于最初的实现并没有发布facebook 开发了一套类似的叫 ThriftHadoop 开发了Apache Avro其他客户端JRuby : Hbase shellHBql: 在HBase 基础上提供了SQL语法访问HBas原创 2015-10-23 00:41:18 · 1978 阅读 · 0 评论 -
《HBase权威指南》读书笔记11:第十一章 性能优化
垃圾回收优化master基本不会遇到垃圾回收的问题。由于memstore的刷写机制是不连续的,所以java虚拟机的堆内存会出现孔洞。快速刷写到磁盘的数据会被划分到新生代,这种空间会被优先回收数据停留的时间太长,会被划分到老生代甚至终生代。而且老生代和终生代一般占据了好几个G,而新生代一般就几百M而已新生代空间由此得出新生代的空间一般的分配如下-XX:MaxNewSize=128m -XX:NewS原创 2015-11-05 23:46:40 · 2622 阅读 · 1 评论 -
《HBase权威指南》读书笔记3
第3章 客户端API:基础知识所有修改都保证了行级别的原子性: 要么读到最新的修改,要么等待系统允许写入改行修改用户要尽量使用批处理(batch)原创 2015-10-21 01:19:12 · 2095 阅读 · 1 评论 -
深入理解HBase Memstore
MemStore是HBase非常重要的组成部分,深入理解MemStore的运行机制、工作原理、相关配置,对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么,在何处发挥作用,如何使用到以及为什么要用MemStore。图一:Memstore Usage in HBase Read/Write Paths转载 2015-09-16 14:59:42 · 920 阅读 · 0 评论 -
HBase深入分析之RegionServer
原文链接 http://www.binospace.com/index.php/hbase-in-depth-analysis-of-the-regionserver/?utm_source=tuicoolHBase深入分析之RegionServer所有的用户数据以及元数据的请求,在经过Region的定位,最终会落在RegionServer上,并由RegionServer实现数据的读写操作。本小节转载 2015-09-16 14:55:42 · 2318 阅读 · 0 评论 -
对提高HBase写性能的一些思考
以下为使用hbase一段时间的三个思考,由于在内存充足的情况下hbase能提供比较满意的读性能,因此写性能是思考的重点。希望读者提出不同意见讨论1 autoflush=false的影响 无论是官方还是很多blog都提倡为了提高hbase的写入速度而在应用代码中设置autoflush=false,然后lz认为在在线应用中应该谨慎进行该设置。原因如下: a autoflush=false的转载 2015-09-16 14:52:23 · 1167 阅读 · 0 评论 -
《HBase权威指南》读书笔记2
2.1快速启动指南hbase-site.xml 里面的 hbase.rootdir 记得要修改否则默认是在 /tmp/hbase-${user.name} 下,如果服务器重启数据就有可能会丢失原创 2015-10-16 16:45:46 · 1606 阅读 · 0 评论 -
HBase实现记录定期定量删除
转自http://blog.csdn.net/pirateleo/article/details/7964859Author:Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处,谢谢。文中可能涉及到的API:Hadoo转载 2014-08-25 08:58:12 · 2829 阅读 · 0 评论 -
《HBase不睡觉书》
《HBase不睡觉书》京东购买链接:https://item.jd.com/12280151.html亚马逊购买链接:https://www.amazon.cn/dp/B078X66CTS当当购买链接:http://product.dangdang.com/25216089.html...原创 2018-12-26 17:06:45 · 1630 阅读 · 0 评论