Hadoop
文章平均质量分 81
leongfans
这个作者很懒,什么都没留下…
展开
-
使hadoop支持Splittable压缩lzo
使hadoop支持Splittable压缩lzo上一篇 / 下一篇 2009-12-31 18:57:20 / 个人分类:hadoop查看( 421 ) / 评论( 2 ) / 评分( 0 / 0 ) 在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoo...原创 2011-10-13 09:28:43 · 76 阅读 · 0 评论 -
Suse启动hadoop-chd3u1失败的解决方案
配置一个新的hadoop集群,使用cloudera的介质,全部部署好以后启动发现两台suse的机器无法正常启动,错误信息如下:hadoop5: /home/hadoop/hadoop/hadoop/bin/hadoop: line 402: 14954 Aborted (core dumped) nohup $_JAVA_EXEC -Dproc_$COMMAND...2011-10-13 11:48:34 · 120 阅读 · 0 评论 -
Hadoop源码解读-Http服务器Jetty的使用
Hadoop内嵌了Http服务器Jetty,主要有以下两方面的作用1、Web访问接口,用于展示Hadoop的内部状态2、参与Hadoop集群的运行和管理 以Namenode为例Namenode通过startHttpServer(conf); 来启动HttpServer(Jetty),具体代码如下 httpServer = new HttpSe...原创 2011-12-29 12:05:54 · 620 阅读 · 0 评论 -
[转]HBase性能调优
[转]HBase性能调优2011-10-12 7:00因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Z...原创 2011-12-31 10:52:13 · 90 阅读 · 0 评论 -
让Hadoop程序轻松使用第三方Jar
from http://hi.baidu.com/adamsi/blog/item/7415adef32fb121ffcfa3cd9.html写过Hadoop程序的人都知道,引用第三方的jar是个麻烦事情。这里我介绍一个方法,可以用ant脚本把自己的代码类和所有的第三方jar都打包到一个jar中,然后就能用hadoop jar xxx.jar来运行整个程序。对应的ant任务描述如下...原创 2011-11-24 16:18:23 · 186 阅读 · 0 评论 -
HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满
数据中心的HBase(cdh3u3)集群已经稳定运行了差不多半年多了。由于前期规划的不合理,最近给所有的数据节点分批重装了一下系统,最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统,发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据1、先用fsck进行文件系统检查,发现大约占用2T的空间(*3约等于6T,数据重量差不多就是这么多),并没有数据块有过多的备份。2、查看...2013-01-05 14:45:18 · 1766 阅读 · 0 评论