初识Hadoop—— macOS环境下Hadoop的安装与配置

1.安装Hadoop

首先确保正确安装了brew以及jdk,在终端键入：

brew install hadoop

Hadoop会自动安装至/usr/local/Cellar/hadoop/目录下,可以键入：

hadoop version

来查看hadoop的版本信息（此处为3.2.1版本)

2.配置Hadoop

(1)配置环境变量HADOOP_HOME(注意版本号的区别)：

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.2.1/

(2)修改配置文件:

默认情况下，Hadoop的配置文件在如下目录中：

/usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/

可以利用ls命令查看目录下的内容：

红色标出的四个文件就是我们需要修改的配置文件，利用vim和xcode进行修改均可

配置hadoop-env.sh文件：

如上图，去掉92行的注释，并且添加变量JAVA_HOME的路径，JAVA_HOME的值可以通过指令获取：

echo $JAVA_HOME

配置mapred-site.xml：

该文件指定MapReduce的访问地址,localhost指本主机，对应IP为127.0.0.1, 8021则为端口号

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

配置hdfs-site.xml

设置备份机制,按理来说，hdfs的每个数据块有三个副本，分布在多个机架内的三个不同的DataNode中，但是大部分初学者要使用的只是本地模式以及伪分布模式，所以用不着三个备份，改为一个即可：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置core-site.xml
这个文件中包含了hdfs的访问地址以及存储路径

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8020</value>
    </property>
</configuration>

3.格式化

hdfs namenode -format

4.运行

至此，应该可以启动hdfs了

hadoop 的可执行程序在
/usr/local/Cellar/hadoop/3.2.1/sbin/ 目录下
(注意版本号)。

进入sbin目录，执行启动程序：

cd /usr/local/Cellar/hadoop/3.2.1/sbin/
./start-dfs.sh#启动hdfs
./stop-dfs.sh#关闭hdfs

可以通过 jps(Java Virtual Machine Process Status Tool)命令查看进程的大概状况：

如图：

打开 http://localhost:9870/ 发现此时已经能访问了。如图：

至此，Hadoop的安装与配置基本完成。