1. 环境准备:centos6+jdk8+hadoop2.7.7,且已经安装好能在本机运行单机hadoop用例
2. 用户:atguigu,具有root权限
3. 开始搭建:
3.1 修改core-site配置文件,在configuration标签下添加:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop111:9000</value>
</property>
</configuration>
3.2 修改hdfs-site配置文件,指定副本数:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.3 修改hadoop-env.sh,修改JAVA_HOME地址:
先echo $JAVA_HOME查看地址,在复制粘贴到配置文件中
4. 修改主机名,将其改为hadoop111(centos6):
4.1 修改/etc/sysconfig/network:
NETWORKING=yes
HOSTNAME=hadoop111
4.2 修改/etc/hosts:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
你的ip地址 hadoop111
4.3 立即生效: exec bash
5. 设置免密ssh
5.1 ssh-keygen
一直回车
5.2
ssh-copy-id root@hadoop111
5.3 测试ssh
[root@hadoop111 ~]# ssh hadoop111
Last login: Sat Feb 29 03:50:34 2020 from localhost
6. 格式化hadoop
# hadoop namenode -format
6. 启动hadoop
执行start-all.sh命令
如果提示:
The authenticity of host 'localhost (::1)' can't be established.
且回车到最后,执行jsp命令后,没有看到dataNode的话,可能要执行以下命令:
ssh -o StrictHostKeyChecking=no localhost
启动成功后,执行jps
[root@hadoop111 ~]# jps
8304 NameNode
9666 Jps
8598 DataNode
9352 NodeManager
8921 SecondaryNameNode
9070 ResourceManager
打开页面:输入ip地址加端口号50070
接下来,就可以通过命令在hdfs上创建目录,添加文件等操作
不过需要注意,当重启hadoop后,这些改动都将会消失,因为在上面的core-site.xml的配置项中,有个配置项是数据存储目录,默认是系统的tmp下,需要添加配置:
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.7/tmp</value>
</property>
如果在没添加这个配置就成功启动了hadoop,那么再改回来就会出错。需要了解数据的迁移才能改回来。