- 博客(9)
- 资源 (47)
- 收藏
- 关注
转载 HBase中的Client如何路由到正确的RegionServer
在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region,那么它是如何找到相应的RegionServer的?本文就是在研究源码的基础上揭
2014-08-14 21:34:56 801
转载 用jstack发现的一例hbase region server线程死锁
最近在升级hadoop集群的过程中,hbase偶尔出现无法读写的情况,看region server进程并没有挂掉,于是用jstack看下是什么情况: Found one Java-level deadlock: ============================= 'IPC
2014-08-14 20:58:57 2317
转载 hbase中查看hlog文件内容
hbase中除了有查看hfile文件的命令,也提供也查看hlog文件的命令: 在hbase的根目录下有个.logs目录,里面就是hlog文件,一台RegionServer机器对应一个文件。老的hlog文件会被移到.oldlogs目录: [admin@bufer108081.tbc ~/dev/baoniu]$ hadoop fs -ls /hbase-0.90/
2014-08-14 20:57:40 7197
转载 hbase关于bloom filter使用
主要来自:http://zjushch.iteye.com/blog/1530143 1.Bloomfilter的原理? 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2.Bloomfilter在HBase中的作用? HBase利用Bloomfilter来提高随机读
2014-08-06 17:33:25 2220
转载 Java jdbc数据库连接池总结!
1. 引言 近年来,随着Internet/Intranet建网技术的飞速发展和在世界范围内的迅速普及,计算机 应用程序已从传统的桌面应用转到Web应用。基于B/S(Browser/Server)架构的3层开发模式逐渐取代C/S(Client/Server)架构的开发模式,成为开发企业级应用和电子商务普遍采用的技术。在Web应用开发的早期,主要使用的技术是CGI﹑ASP﹑PHP等。之后,
2014-08-06 17:25:01 4900
原创 使用ganglia监控hadoop,hbase
gagnlia 安装笔记: 查看linux版本 [root@XAYQ-Test2 bin]# lsb_release -a LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-am
2014-08-05 16:57:35 1006
原创 hbase导入数据总结:
目前有两种方式导入: 1.使用sqoop工具导入。 2.通过写hbase java api导入。 总结:hbase的入库性能还行,查询效率高。 目前咱们的数据量很难遇到极端场景。 1.使用sqoop 把cpp数据导入hbase sqoop思义sql to hadoop。sqoop特性:支持多种导入方式,包括指定列导入,指定格式导入,支持增量导入(有更新才导入)等等。
2014-08-05 16:37:28 3789 1
转载 hbase修复.META.表与HDFS文件不一致问题
在实际环境中遇到hbase fbck检查报hdfs数据块与META表信息不一致的错误。表现就是数据写入无法进行。 经过检查,发现在.META.表中对应的一些region块的子列少了regioninfo这一列;同时在hdfs的出错region文件夹下查看发现本来该是.regioninfo的文件夹变成了.tmp文件夹。在网上查了些资料,发现是region做分裂的时候失败,导致regi
2014-08-02 11:11:41 2759
转载 hbase使用、运维、改进(不断更新)
刚刚看了google jeff dean 在新的一年里发表的演讲,讲到各种系统配合使用完成海量数据处理任务。深有感触:http://t.cn/zYE89gn 。2013年,依然会专注hbase研究,并以此为基础扩展,对hbase衍生的一些特性和产品进行深入研究,例如replication、phoenix。从传统的离线计算(hadoop、hive),到实时流式计算系统(storm、s4),创新应用性
2014-08-02 11:10:45 958
Artificial_Intelligence_A_Modern_Approach_3rd_Edition
2017-08-17
持续集成资料
2016-01-27
数据库中间件mycat
2016-01-27
UmlGraph经过处理修改源码的jar包
2014-06-26
tomcat集群-Apache2.2.4+And+mod_jk.so+tomcat配置文件
2013-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人