0 一些闲话
这几天真的是煎熬,煎熬,煎熬。除了这两个字我真的没啥好说的。除了调Bug之外,最痛苦的莫过于配置!配置!配置!!!呵呵呵呵呵呵!而且还是在Linux系统下配置!虚拟机的Linux系统!第一卡成翔,第二动不动就没权限!我收回觉得Linux系统比Windows好看的话。
从前天晚上开始学Hadoop。基本过程是这样的。
11/20 下载VMWare 虚拟机软件 | CentOS6.4 Linux 64位 安装 | 命令初步学习
11/21 用了一个晚上在虚拟机上装JDK1.8.0_65 | Hadoop-1.2.1 我能说我已经把所有的目录记得一清二楚了么,因为每个目录我至少敲过20遍,对,纯手动,因为特么Linux命令行不可以复制。。。
11/22 一整天都在实验室了呵呵。。配置Hadoop的JDK环境但是因为OPENJDK没有删掉所以重新安装了一遍昨天安装的所有东西。。然后就是今天我要展示的部分:)
我觉得。女生。特别是我这种耐心很差的女生。不要。当。程序员。
虽然我最终还是调好了,但是我自己清楚还有很多bug,比如主机名,还有那个永远无法访问的localhost:50030/50070/50075,我要回头再看一下hosts和conf下的所有xml的配置呵呵呵呵呵。
1 Hadoop的配置
注意:这里的配置指的是你已经安装好了所有JDK和Hadoop包括他们的连接,这里只是一个测试或者说,服务的启动和检测。还有这是自用,我不知道你的电脑上可不可以哦:)
1> 执行/etc/profile文件,生成PATH,此时才可以执行hadoop命令。
[hadoop@hadoop-master 桌面]$ source /etc/profile
2> 格式化hadoop namenode
[root@hadoop-master 桌面]# hadoop namenode -format
15/11/22 01:25:26 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = hadoop-master/192.168.15.180
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.1
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.8.0_65
************************************************************/
Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) Y
15/11/22 01:25:30 INFO util.GSet: Computing capacity for map BlocksMap
15/11/22 01:25:30 INFO util.GSet: VM type = 64-bit
15/11/22 01:25:30 INFO util.GSet: 2.0% max memory = 1013645312
15/11/22 01:25:30 INFO util.GSet: capacity = 2^21 = 2097152 entries
15/11/22 01:25:30 INFO util.GSet: recommended=2097152, actual=2097152
15/11/22 01:25:31 INFO namenode.FSNamesystem: fsOwner=root
15/11/22 01:25:31 INFO namenode.FSNamesystem: supergroup=supergroup
15/11/22 01:25:31 INFO namenode.FSNamesystem: isPermissionEnabled=true
15/11/22 01:25:31 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
15/11/22 01:25:31 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
15/11/22 01:25:31 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
15/11/22 01:25:31 INFO namenode.NameNode: Caching file names occuring more than 10 times
15/11/22 01:25:32 INFO common.Storage: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
15/11/22 01:25:32 ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:599)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1338)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1356)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1261)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode