硬件
三台虚拟机
硬件:
CPU:2*3核
内存:16G
磁盘:500G(SATA)
操作系统:
ubuntu 14.04
软件安装
配置修改
安装包:hadoop-2.7.1.tar.gz
解压后进入目录
etc/hadoop/core-site.xml
修改如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
etc/hadoop/mapred-site.xml.template
修改如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml
修改如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/tmp/dfs/data</value>
</property>
</configuration>
etc/hadoop/hadoop-env.sh
修改如下:
...
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
...
HDFS系统
bin/hdfs namenode -format
NameNode和DataNode进程
sbin/start-dfs.sh
总结下完整启动
bin/hdfs namenode -format
sbin/start-dfs.sh
bin/hdfs namenode -format
在后续执行的时候,让输入Y/N的时候,选择N,否则会出问题,解决办法参考后续重启后datanode启动失败
查看结果
- jps
10517 DataNode
10364 NameNode
10710 SecondaryNameNode
10914 Jps
- http://127.0.0.1:50070
问题
jdk
root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh
Starting namenodes on [localhost]
root@localhost's password:
localhost: Error: JAVA_HOME is not set and could not be found.
etc/hadoop/hadoop-env.sh
中有java home的设定位置,直接配置下就好
密码错误
root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh
Starting namenodes on [localhost]
root@localhost's password:
localhost: Permission denied, please try again.
重新设定一下密码即可:sudo passwd
,然后继续安装
重启后datanode启动失败
断电后依次执行启动命令,format的时候,选择了Y,会重新格式化,导致data和name中的VERSION不一致。
这时候执行sbin/start-dfs.sh
,datanode就一直启动失败。
解决办法:
/hadoop/tmp/dfs能看到 data和name两个文件夹,将name/current下的VERSION中的clusterID复制到data/current下的VERSION中,覆盖掉原来的clusterID,让两个保持一致,然后重启,OK。