[2015/11/22] Hadoop的一些配置 和 Eclipse导入Hadoop工程步骤 -自用-

0 一些闲话

这几天真的是煎熬，煎熬，煎熬。除了这两个字我真的没啥好说的。除了调Bug之外，最痛苦的莫过于配置！配置！配置！！！呵呵呵呵呵呵！而且还是在Linux系统下配置！虚拟机的Linux系统！第一卡成翔，第二动不动就没权限！我收回觉得Linux系统比Windows好看的话。

从前天晚上开始学Hadoop。基本过程是这样的。

11/20    下载VMWare 虚拟机软件 | CentOS6.4  Linux 64位 安装 |  命令初步学习

11/21     用了一个晚上在虚拟机上装JDK1.8.0_65  |   Hadoop-1.2.1          我能说我已经把所有的目录记得一清二楚了么，因为每个目录我至少敲过20遍，对，纯手动，因为特么Linux命令行不可以复制。。。

11/22     一整天都在实验室了呵呵。。配置Hadoop的JDK环境但是因为OPENJDK没有删掉所以重新安装了一遍昨天安装的所有东西。。然后就是今天我要展示的部分：）

我觉得。女生。特别是我这种耐心很差的女生。不要。当。程序员。

虽然我最终还是调好了，但是我自己清楚还有很多bug，比如主机名，还有那个永远无法访问的localhost:50030/50070/50075，我要回头再看一下hosts和conf下的所有xml的配置呵呵呵呵呵。

1 Hadoop的配置 

注意：这里的配置指的是你已经安装好了所有JDK和Hadoop包括他们的连接，这里只是一个测试或者说，服务的启动和检测。还有这是自用，我不知道你的电脑上可不可以哦：）

1> 执行/etc/profile文件，生成PATH，此时才可以执行hadoop命令。

[hadoop@hadoop-master 桌面]$ source /etc/profile

2> 格式化hadoop namenode

[root@hadoop-master 桌面]# hadoop namenode -format
15/11/22 01:25:26 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hadoop-master/192.168.15.180
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.8.0_65
************************************************************/
Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) Y
15/11/22 01:25:30 INFO util.GSet: Computing capacity for map BlocksMap
15/11/22 01:25:30 INFO util.GSet: VM type       = 64-bit
15/11/22 01:25:30 INFO util.GSet: 2.0% max memory = 1013645312
15/11/22 01:25:30 INFO util.GSet: capacity      = 2^21 = 2097152 entries
15/11/22 01:25:30 INFO util.GSet: recommended=2097152, actual=2097152
15/11/22 01:25:31 INFO namenode.FSNamesystem: fsOwner=root
15/11/22 01:25:31 INFO namenode.FSNamesystem: supergroup=supergroup
15/11/22 01:25:31 INFO namenode.FSNamesystem: isPermissionEnabled=true
15/11/22 01:25:31 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
15/11/22 01:25:31 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
15/11/22 01:25:31 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
15/11/22 01:25:31 INFO namenode.NameNode: Caching file names occuring more than 10 times
15/11/22 01:25:32 INFO common.Storage: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
15/11/22 01:25:32 ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
    at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:599)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1338)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1356)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1261)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode