2012年04月_hua840812

转载 HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)

转自：http://blog.csdn.net/kalaamong/article/details/7275242首先描述一下现象最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServe

2012-04-28 16:32:16 1981

转载 Hadoop生态图谱

转自：http://www.kuqin.com/system-analysis/20120219/318275.html当下Hadoop已经成长为一个庞大的体系，貌似只要和海量数据相关的，没有哪个领域缺少Hadoop的身影，下面是一个Hadoop生态系统的图谱，详细的列举了在Hadoop这个生态系统中出现的各种数据工具。这一切，都起源自Web数据爆炸时代的来临数据抓取系统

2012-04-18 11:42:15 845

转载按日期删除HDFS数据

转自：http://blog.csdn.net/eryk86/article/details/7472346import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.HashSet; import jav

2012-04-18 10:05:30 3160

转载读取HFile 按Timestamp 删除 HBase 数据

转自：http://blog.csdn.net/eryk86/article/details/7472335[java] view plaincopyimport java.io.IOException; import java.text.SimpleDateFormat; import java.util.Calendar; import

2012-04-18 10:03:16 1262

原创 GetHFileFileInfo.java

package hfile.inputformat;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import or

2012-04-18 10:00:28 683

转载 hbase中region的规划与硬盘配置分析

转自：http://www.linuxso.com/sql/14345.html Hbase在逻辑上的存储最小单位是Region，物理上来说事HFile。每个Region由多个HFile组成。那么，是否有一个推荐值，确定每台regionserver上运行多少个region，，每个region的size多大是最合适的呢？看到《Hbase权威指南》中有一段话写道：

2012-04-16 15:55:35 1004

转载 HBase Architecture(译)：上

转自：http://hi.baidu.com/rebeccacao/blog/item/059aee1ce51b5d014134179e.htmlHBase Architecture(译)：上2012-01-04 14:01译者： 2011-10-1出处：http://duanple.blog.163.com/blog/static/70971767

2012-04-16 14:10:19 714

转载 WARN org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler: Region was hijacked

转自：http://mail-archives.apache.org/mod_mbox/hbase-issues/201112.mbox/%3C7071407.41918.1324627472698.JavaMail.tomcat@hel.zones.apache.org%3ETwo adjacent assignments lead region is in PENDING_OPEN s

2012-04-15 13:30:03 2346

原创删除hbase表region块脚本

文件hua.txt格式：CHAT_INFO,1318153079100530000314050,1318173760068.991ca04ff164c3f7987a9d93e0f744f5.CHAT_INFO,1318156265075530000260366,1318173760068.2e9ac5a34869209f95ab46bf72061fd6.CHAT_INFO,131815

2012-04-15 03:50:38 3643

原创 hbase故障维护

hbase集群维护总结1、集群故障现象以及解决方法故障现象解决方法“hbase shell”命令无法显示list以及meta丢失查看集群hbase的regionserver日志；一般重启hbaseHbase表显示不全“Hbase hbck”命令查看具体细节，很有可能有”no empty sta

2012-04-15 00:52:49 4482 1

转载开源日志系统比较

转自：http://dongxicheng.org/search-engine/log-systems/1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和

2012-04-14 14:37:19 1025

转载 hbase bulkload

转载：http://blog.csdn.net/kirayuan/article/details/7441447hbase bulkload分类： hbase2012-04-09 16:41 5人阅读评论(0) 收藏举报 bulkload的方式导入数据是hbase的一项相当好的数据导入工具，特别适合做为新系统的历史数据导入工具！hbase本身也

2012-04-09 16:54:49 914

转载 HBase常见问题解答

目前NoSQL产品最被人诟病的就是其稳定性，不得不承认，目前HBase离做到数据库那样的高稳定还有距离(丢数据、不能读写、DDL失败等严重问题)，这篇blog将用来记录我们在运维HBase时碰到的问题(会不断更新)，希望能给使用HBase的同学有一些帮助。　　1、单台regionserver的region数很多后写速度疯狂下降　　具体请见：http://koven2049.itey

2012-04-05 17:28:52 941

hua840812的专栏