- 博客(4)
- 问答 (2)
- 收藏
- 关注
原创 Hadoop运营急救方案
引子: 这段时间折腾的都是hadoop和lucene,总结了hadoop在运营过程中出现问题时的解决方案,请大家指教!HDFS运营中急救方案1 Namenode 挂掉(secondarynamenode无影响)如果Namenode挂掉,如果能立即起来通过,start-dfs.sh 能够重新起来则可以正常使用。否则按照以下操作。下面所有操作前提是有完整的secondarynamenode。1) 在非secondarynamenode服务器中选择datanode作为namenode
2011-04-19 17:36:00 3841 1
原创 Hadoop NameNode 结构简介
<br />转自http://www.tbdata.org/archives/11201 概述<br />本文档目的在于对namenode中各种关键的数据结构进行剖析和解释,以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包 括对namenode中Namenode和FSNameSystem的程序代码结构,FSDirectory,BlocksMap, CorruptReplicationMap,excessReplicateMap, UnderReplicatedBlocks,Pendin
2011-04-19 11:26:00 9467
原创 运行中hadoop增加datanode
<br /><br />向一个正在运行的Hadoop集群中增加几个新的Nodes<br />1. 新节点上部署java/hadoop程序,配置相应的环境变量<br />2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys<br />3. 新节点上设置host,只要有本机和master的host即可<br />4. 新节点上建立相关的目录,并修改属主<br />5. master的slaves文件中增加上相的节点,master上增加相应的host<br />6.
2011-04-14 12:26:00 7725
转载 FSDirectory NIOFSDirectory 性能对比
lucene/solr FSDirectory NIOFSDirectory 性能测试对比与Http11NioProtocol文章分类:互联网lucene 2.4 开始有一个 NIOFSDirectory 实现,使用 java.nio's FileChannel 读取文件。官方说:在大多数非 windows 平台下,多个线程共用单个 searcher 比 FSDirectory(在同一时刻只能一个线程使用 searcher)可以提高查询的吞吐量。 lucene 2.4 的 CHANGE.
2011-04-01 16:09:00 2284
空空如也
javaeye.com 目前存在的bug
2010-03-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人