hadoop常见问题汇总（陆续更新）

如果理解的不对请大家不吝指教

 

1. namenode 启动失败：是否在启动前格式化namenode，如果没有的话先停止hadoop,然后再启动，一般情况下应该可以，至于原因我现在还在不是很明白 下面是官方的原话

The first step to starting up your Hadoop installation is formatting the Hadoop filesystem, which is implemented on top of the local filesystems of your cluster. You need to do this the first time you set up a Hadoop installation. Do not format a running Hadoop filesystem, this will cause all your data to be erased. Before formatting, ensure that the dfs.name.dir directory exists. If you just used the default, then mkdir -p /tmp/hadoop-username/dfs/name will create the directory. To format the filesystem (which simply initializes the directory specified by the dfs.name.dir variable), run the command:
% $HADOOP_INSTALL/hadoop/bin/hadoop namenode -format

 

 

2. namenode和datanode的解释

http://hadoop.apache.org/common/docs/current/hdfs_design.html

hdfs文件系统是一个主/仆（主/从）关系的架构。一个hdfs集群只有一个namenode，他掌控服务器管理文件系统命名空间以及规范客户端文件的访问。

此外，一个集群中有多个datanode，通常集群中一个节点就有一个datanode，他负责把存储附在他运行的那个节点上。hdfs暴露一个文件的命名空间并且允许用户的数据存储在文件中。在内部，一个文件被分割成一个或多个区块且这些区块被存储在一系列的datanodes内。该namenode执行文件系统命名空间操作如打开，关闭以及重命名文件和目录。它还决定区块和namenode的映射。datanodes负责为来自文件系统客户端的读写请求服务。数据节点还执行来自namdenode的创建，删除和重复区块命令。（可以查看源文）

 

 

3. hadoop切割文件疑问
如果我没理解错的话，它大意就是说inputformat这个类处理那些被切割得不完整的信息，比如说一行被分在了两个split里面，但是inputformat在处理split的时候会特殊对待最后一行，它通常会把最后一行读完，如果被分成了两个split里面，那么他会忽视filesplit的界限，找到另一个split把这条记录完整的读完，textinputformat忽视第一行换行符前面的内容，这样就不必担心自己的数据乱了。

http://wiki.apache.org/hadoop/HadoopMapReduce