wsl2+hadoop2.7.7伪分布式配置

Hadoop环境变量配置

系统环境：

• wsl ubuntu18.04
• jdk 1.8.0_192
• Hadoop 2.7.7

1. 修改Hadoop中的Java环境变量

共需修改三个文件分别为：

文件内容大致为：

可手动改为需要的jdk路径

2. 节点配置

• 配置namenode节点：

• 配置副本数

• 指定从节点

• 配置secondry node

• 配置临时文件目录

这里需要注意，以下三项都有该目录有关：

name	value
dfs.datanode.data.dir	file://${hadoop.tmp.dir}/dfs/data
dfs.namenode.name.dir	file://${hadoop.tmp.dir}/dfs/name
dfs.namenode.checkpoint.dir	dfs.namenode.checkpoint.dir

• 修改hosts文件

• 完整的配置文件如下

  • core-site.xml

    <configuration>
            <property>
                    <!--主节点-->
                    <name>fs.defaultFS</name>
                    <value>hdfs://master:9000</value>
            </property>
            <!--
            <property>
                    <name>fs.default.name</name>
                    <value>hdfs://master:9000</value>
            </property>
    -->
            <property>
                    <!--临时文件目录-->
                    <name>hadoop.tmp.dir</name>
                    <value>/home/l_dd/hadoop_workdir/pseudo</value>
            </property>
    
    </configuration>
    

  • hdfs-site.xml

    <configuration>
    
            <!--副本数量-->
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    
            <!--设置secondry node-->
            <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>master:50090</value>
            </property>
    
    </configuration>
    

  • /etc/hosts

    # This file is automatically generated by WSL based on the Windows hosts file:
    # %WINDIR%\System32\drivers\etc\hosts. Modifications to this file will be overwritten.
    127.0.0.1       localhost
    127.0.0.1       master  # hadoop中配置的用户
    127.0.0.1       l_dd	# 为wsl的用户名
    127.0.1.1       DESKTOP-OCS0E02.localdomain     DESKTOP-OCS0E02
    
    # The following lines are desirable for IPv6 capable hosts
    ::1     ip6-localhost ip6-loopback
    fe00::0 ip6-localnet
    ff00::0 ip6-mcastprefix
    ff02::1 ip6-allnodes
    ff02::2 ip6-allrouters
    

• ssh配置，自行百度。

3. 启动

1. Format the filesystem:

   执行：hdfs namenode -format

   界面如下则成功（只需执行一次）：

并且，core-siet所指定的目录中的文件夹会出现文件：

2. Start NameNode daemon and DataNode daemon:

   start-dfs.sh

   界面如下则成功：