云计算
文章平均质量分 81
leongfans
这个作者很懒,什么都没留下…
展开
-
HBase 和 MongoDB在设计上的区别
昨天搜一下mongodb的资料,介绍应用的比较多,原理介绍的不多。粗略得看了一下,总体来说两者的设计思路差不多,主要就是通过划区间去分布数据,后台进程进行数据分裂两者的区别主要在于:1、HBase依赖于HDFS;MongoDB直接存储在本地磁盘中2、HBase按照列族将数据存储在不同的文件中;MongoDB不分列,整个文档都存储在一个(或者说一组)文件中,通过一个有一个通用的....2011-04-27 10:56:14 · 341 阅读 · 0 评论 -
Ganglia单播模式配置
为了监控Hadoop集群,为集群装了ganglia,一直用的好好的。但是过年回来以后,发现有一台机器的gmond进程死活起不来,检查系统日志,错误如下:udp_recv_channel mcast_join=239.2.11.73 mcast_if=NULL port=8649 bind=239.2.11.73Error creating multicast server mcast_...2011-03-04 11:11:40 · 313 阅读 · 0 评论 -
使hadoop支持Splittable压缩lzo
使hadoop支持Splittable压缩lzo上一篇 / 下一篇 2009-12-31 18:57:20 / 个人分类:hadoop查看( 421 ) / 评论( 2 ) / 评分( 0 / 0 ) 在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoo...原创 2011-10-13 09:28:43 · 92 阅读 · 0 评论 -
Suse启动hadoop-chd3u1失败的解决方案
配置一个新的hadoop集群,使用cloudera的介质,全部部署好以后启动发现两台suse的机器无法正常启动,错误信息如下:hadoop5: /home/hadoop/hadoop/hadoop/bin/hadoop: line 402: 14954 Aborted (core dumped) nohup $_JAVA_EXEC -Dproc_$COMMAND...2011-10-13 11:48:34 · 135 阅读 · 0 评论 -
Hadoop源码解读-Http服务器Jetty的使用
Hadoop内嵌了Http服务器Jetty,主要有以下两方面的作用1、Web访问接口,用于展示Hadoop的内部状态2、参与Hadoop集群的运行和管理 以Namenode为例Namenode通过startHttpServer(conf); 来启动HttpServer(Jetty),具体代码如下 httpServer = new HttpSe...原创 2011-12-29 12:05:54 · 653 阅读 · 0 评论 -
[转]HBase性能调优
[转]HBase性能调优2011-10-12 7:00因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Z...原创 2011-12-31 10:52:13 · 101 阅读 · 0 评论 -
让Hadoop程序轻松使用第三方Jar
from http://hi.baidu.com/adamsi/blog/item/7415adef32fb121ffcfa3cd9.html写过Hadoop程序的人都知道,引用第三方的jar是个麻烦事情。这里我介绍一个方法,可以用ant脚本把自己的代码类和所有的第三方jar都打包到一个jar中,然后就能用hadoop jar xxx.jar来运行整个程序。对应的ant任务描述如下...原创 2011-11-24 16:18:23 · 203 阅读 · 0 评论