HDFS
文章平均质量分 81
leongfans
这个作者很懒,什么都没留下…
展开
-
使hadoop支持Splittable压缩lzo
使hadoop支持Splittable压缩lzo上一篇 / 下一篇 2009-12-31 18:57:20 / 个人分类:hadoop查看( 421 ) / 评论( 2 ) / 评分( 0 / 0 ) 在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间,不仅如此,lzo是基于block分块的,这样他就允许数据被分解成chunk,并行的被hadoo...原创 2011-10-13 09:28:43 · 92 阅读 · 0 评论 -
Suse启动hadoop-chd3u1失败的解决方案
配置一个新的hadoop集群,使用cloudera的介质,全部部署好以后启动发现两台suse的机器无法正常启动,错误信息如下:hadoop5: /home/hadoop/hadoop/hadoop/bin/hadoop: line 402: 14954 Aborted (core dumped) nohup $_JAVA_EXEC -Dproc_$COMMAND...2011-10-13 11:48:34 · 135 阅读 · 0 评论 -
Hadoop源码解读-Http服务器Jetty的使用
Hadoop内嵌了Http服务器Jetty,主要有以下两方面的作用1、Web访问接口,用于展示Hadoop的内部状态2、参与Hadoop集群的运行和管理 以Namenode为例Namenode通过startHttpServer(conf); 来启动HttpServer(Jetty),具体代码如下 httpServer = new HttpSe...原创 2011-12-29 12:05:54 · 653 阅读 · 0 评论 -
HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满
数据中心的HBase(cdh3u3)集群已经稳定运行了差不多半年多了。由于前期规划的不合理,最近给所有的数据节点分批重装了一下系统,最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统,发现原来大约占用6T空间的HDFS已经占用了差不多15+T的数据1、先用fsck进行文件系统检查,发现大约占用2T的空间(*3约等于6T,数据重量差不多就是这么多),并没有数据块有过多的备份。2、查看...2013-01-05 14:45:18 · 1843 阅读 · 0 评论