海量数据
文章平均质量分 90
主要探讨Hadoop的工程应用
胡同里的民工
瞬息万变下,学会珍惜
展开
-
HBase 事务性 (Transaction)
What is Transaction先摘录一段Wiki关于Transaction(事务)的释义:A transaction comprises a unit of work performed within a database management system (or similar system) against a database, and treated in a coher原创 2013-02-19 22:40:33 · 17191 阅读 · 4 评论 -
HBase 增量备份
Author:Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处,谢谢。文中可能涉及到的API:Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http:原创 2012-09-23 21:27:54 · 9475 阅读 · 4 评论 -
HBase 定期备份
如何使用HBase的Export与Import完成备份功能,请参照我之前的博文《HBase 增量备份》。转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份,每天进行一次增量备份。import time import datetime from datetime import date import sys import os转载 2012-09-23 21:42:43 · 2463 阅读 · 0 评论 -
HBase集群RS扩容性能验证Rowkey构建方法
RegionServer节点扩展后,需要将一部分原有Region迁移到新的RegionServer中,使各RegionServer负载均衡。为了验证多了一个节点后的HBase的写性能提升,需要使每次put时List中的RowKey平均分配到现有的所有Region中,以达到使所有RegionServer并发处理的目的。下面的代码是这种均匀RowKey构建的元代码:import jav原创 2012-12-07 00:20:33 · 3748 阅读 · 1 评论 -
HBase实现分页浏览
文中可能涉及到的API:Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org/apidocs/index.html?overview-summary.htmlBegin!最近做的项目用到了HBase处理海量的数据记录,并在前端UI提供了查询浏览功能。原创 2012-08-29 23:27:05 · 21951 阅读 · 23 评论 -
HBase条件查询(多条件查询)
Author:Pirate LeomyBlog: http://blog.csdn.net/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处,谢谢。文中可能涉及到的API:Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http:原创 2012-09-08 01:33:53 · 97913 阅读 · 7 评论 -
分布式系统概述(Hadoop与HBase的前生今世)
引子:古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样:我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。—— Grace Hopper(计算机软件第一夫人,计算机历史上第一个BUG的发现者,也是史上最大BUG千年虫的制造者)这就是分布式。再来看一组令人瞠目结舌的数据:2012年11月11日支付宝总交易额原创 2012-12-24 23:55:51 · 24421 阅读 · 2 评论