NoSQL&SQL DB
_猪头饼_
码农,关注大数据、分布式计算
展开
-
读书笔记-HBase in Action-第一部分 HBase fundamentals
新项目准备上HBase。HBase目前由组里某牛负责。本着学会使用HBase的目标,先阅读下HBase in Action,学习内容包括HBase基本实现原理,使用方法,Schema设计原则和实战等。借用Michael Stack(HBase Chair)的话,“At a highlevel, HBase is like theatomic bomb. Its basic operation原创 2014-06-09 17:32:11 · 1752 阅读 · 0 评论 -
MySQL与OLAP:分析型SQL查询最佳实践探索
搞点多维分析,糙快猛的解决方案就是使用ROLAP(关系型OLAP)了。数据经维度建模后存储在MySQL,ROLAP引擎(比如开源的Mondrian)负责将OLAP请求转化为SQL语句提交给数据库。OLAP计算分析功能导致MySQL需要进行较多复杂SQL查询,性能调优必不可少,本文总结了一些实用原则。OLAP特点OLAP的典型应用包括复杂动态报表,需要支持钻取(上卷和下钻)、切片、切块和旋转原创 2014-05-05 15:24:50 · 12555 阅读 · 1 评论 -
读书笔记-HBase in Action-第四部分-(2)运维
监控通过收集metrics并图形化展示是监控HBase集群的有效手段,能帮助用户了解集群状态,排查问题。HBase通过Hadoop metrics框架输出metrics,最常用的MetricsContext实现包括Ganglia和文件;HBase还能通过JMX输出metrics。通过hadoop-metircs.properties配置项,可以输出metrics到Ganglia:hba原创 2014-09-23 16:02:51 · 2421 阅读 · 0 评论 -
读书笔记-HBase in Action-第四部分-(1)部署
最后一部分了。。。分两章吧。HBase和Hadoop紧密相关,更为具体的部署和运维内容推荐HadoopOperations和HBaseAdministration Cookbook。本文粗粒度列出一些HBase部署运维的最佳实践和基本原则。集群规划一个完整的HBase集群包含HBase Master,ZooKeeper,RegionServers和Hadoop相关组件。生产集群按照规模原创 2014-09-22 18:04:07 · 1760 阅读 · 0 评论 -
读书笔记-HBase in Action-第三部分应用-(2)GIS系统
本章介绍用HBase存储、高效查询地理位置信息。Geohash空间索引考虑LBS应用中常见的两个问题:1)查找离某地最近的k个地点;2)查找某区域内地点。如果要用HBase实现高效查找,首先要考虑的是空间局部性(Spatial Locality),即位置上相近的点得物理存储在一起。最简单的地理位置数据由两个维度组成:经度X和纬度Y,那么相对应最简单的Rowkey也可以由X和Y组成。Rowk原创 2014-09-19 21:34:30 · 2956 阅读 · 0 评论 -
读书笔记-HBase in Action-第三部分应用-(1)OpenTSDB
OpenTSDB是基于HBase的开源监控系统,可以支持上万规模集群监控和上亿数据点采集。其中TSDB代表Time Series Database,OpenTSDB在时间序列数据的存储和查询上都做了相当多的优化工作。架构Overview概念上OpenTSDB由三部分组成:tcollector数据采集、tsd数据服务和HBase数据存储。数据采集流程如上图,tco原创 2014-07-30 16:21:14 · 2355 阅读 · 0 评论 -
读书笔记-HBase in Action-第二部分Advanced concepts-(3)非Java客户端
HBase ShellHBase shell使用起来最方便,进入HBase shell控制台即可使用。$ $HBASE_HOME/bin/hbase shell常见操作有create(创建表)/put(插入或更新数据)/get(根据rowkey查询)/scan(范围查询)/delete(删除列)/deleteAll(根据rowkey删除整行数据)/disable&drop(禁用表之后再原创 2014-07-03 13:07:59 · 1992 阅读 · 0 评论 -
读书笔记-HBase in Action-第二部分Advanced concepts-(2)Coprocessor
Coprocessor是HBase 0.92.0引入的特性。使用Coprocessor,可以将一些计算逻辑下推到HBase节点,HBase由一个单纯的存储系统升级为分布式数据处理平台。Coprocessor分为两种:Observer和Endpoint。Observer能修改扩展已有的客户端操作功能,而Endpoint能引入新的客户端操作。ObserverObserver的作用类似于数据原创 2014-07-02 17:30:34 · 2082 阅读 · 0 评论 -
读书笔记-HBase in Action-第二部分Advanced concepts-(1)HBase table design
本章以山寨版Twitter为例介绍HBase Schema设计模式。广义的HBase Schema设计不只包括创建表时指定项,还应该综合考虑Column families/Column qualifier/Cell value/Versions/Rowkey等相关内容。灵活的Schema&简单的存储视图Schema设计和数据存储及访问模式关系密切,先回顾下HBase数据模型,有几个要点:原创 2014-07-01 09:52:19 · 1964 阅读 · 0 评论