hadoop-伪分布式搭建

1. 环境准备：centos6+jdk8+hadoop2.7.7，且已经安装好能在本机运行单机hadoop用例

2. 用户：atguigu，具有root权限

3. 开始搭建：

3.1 修改core-site配置文件，在configuration标签下添加：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop111:9000</value>
    </property>
</configuration>

3.2 修改hdfs-site配置文件，指定副本数：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.3 修改hadoop-env.sh，修改JAVA_HOME地址：

   先echo $JAVA_HOME查看地址，在复制粘贴到配置文件中

4. 修改主机名，将其改为hadoop111（centos6）:

  4.1 修改/etc/sysconfig/network:

NETWORKING=yes
HOSTNAME=hadoop111

4.2 修改/etc/hosts：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
你的ip地址      hadoop111

4.3 立即生效： exec bash

5. 设置免密ssh

5.1 ssh-keygen

一直回车

 5.2 

ssh-copy-id root@hadoop111

5.3 测试ssh

[root@hadoop111 ~]# ssh hadoop111
Last login: Sat Feb 29 03:50:34 2020 from localhost

6. 格式化hadoop

# hadoop namenode -format

6. 启动hadoop

执行start-all.sh命令

如果提示：

The authenticity of host 'localhost (::1)' can't be established.

且回车到最后，执行jsp命令后，没有看到dataNode的话，可能要执行以下命令：

ssh -o StrictHostKeyChecking=no localhost

启动成功后，执行jps

[root@hadoop111 ~]# jps
8304 NameNode
9666 Jps
8598 DataNode
9352 NodeManager
8921 SecondaryNameNode
9070 ResourceManager

打开页面：输入ip地址加端口号50070

接下来，就可以通过命令在hdfs上创建目录，添加文件等操作

不过需要注意，当重启hadoop后，这些改动都将会消失，因为在上面的core-site.xml的配置项中，有个配置项是数据存储目录，默认是系统的tmp下，需要添加配置：

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.7/tmp</value>
  </property>

如果在没添加这个配置就成功启动了hadoop，那么再改回来就会出错。需要了解数据的迁移才能改回来。