安装伪分布式Hadoop (Mac OS X)

最新推荐文章于 2024-01-07 04:30:00 发布

Xiaoyangerr

最新推荐文章于 2024-01-07 04:30:00 发布

阅读量905

点赞数 1

分类专栏：大数据文章标签： Hadoop 大数据

本文链接：https://blog.csdn.net/weixin_41717034/article/details/89440836

版权

本文详述了在Mac OS X上安装伪分布式Hadoop的步骤，包括安装Java JDK，配置SSH，从官网下载并配置Hadoop，设置环境变量，格式化DFS，启动和检查Hadoop进程，以及配置Yarn以执行MapReduce任务。通过这些步骤，可以在单台机器上模拟分布式Hadoop环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

格式化一个新的分布式文件系统DFS（即对namenode初始化）

启动dfs文件系统(开启保护进程)

查看远端（Hadoop端口）

关闭伪分布式

6. 配置Yarn (让HDFS可以被用来执行 MapReduce jobs)

Tips: Hadoop的所有命令，都位于./sbin中

Reference

Hadoop安装配置介绍

Hadoop的安装配置有3种：单机Hadoop、伪分布式Hadoop、(完全)分布式Hadoop。

单机模式

Hadoop默认模式为非分布式，即本机模式，无需对配置文件进行更改，安装最省时简单；
但是Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程；
Map与Reduce任务会作为单个java进程的不同部分来执行。

伪分布式模式

在一台主机上模拟多主机，即模拟分布式模式；
Hadoop会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，在一台机器上运行；
Hadoop进程是在一个节点上以分离的Java进程来运行，节点既是NameNode，也用作DataNode，读取HDFS中的文件。

完全分布式模式

在多台主机（多个节点）搭建的集群，或者在云端租用计算机搭建的集群环境上运行Hadoop。

由于没有多余的机器（物理机或虚拟机），也不打算购买云服务器来搭建完全分布式集群，而单机模式安装和在本地使用文件系统没区别，所以最终选择在本机（一台电脑或虚拟机）用进程控制来模拟出分布式Hadoop。本篇是针对伪分布式Hadoop安装与配置教程。

伪分布式Hadoop安装

1.安装Java JDK

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

用java -version查看是否安装成功以及安装版本

用whereis java查看路径，用ls -l查看真实路径。

➜  ~ whereis java
/usr/bin/java
➜  ~ ls -l /usr/bin/java
lrwxr-xr-x  1 root  wheel  74 Apr 21  2018 /usr/bin/java -> /System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java

根据你安装的JDK版本，具体打开方式为:

打开Finder，快捷键“Command + Shift + G”，

输入 /Library/Java/JavaVirtualMachines/

"/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home"是JDK的安装目录下Home的路径。

用 echo $SHELL 查看本机使用的shell是zsh还是bash

如果输出 /bin/bash 则为bash，

如果输出结果为 /bin/zsh则为zsh。

➜  ~ echo $SHELL
/bin/zsh

我的shell使用的是zsh

进行shell配置文件的修改：

vim ~/.zshrc 打开文件

键入“i”，进入插入模式

输入以下环境配置内容：

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH

按esc退出插入模式，英文输入 :wq! 保存退出profile文件

命令行执行source命令,使得环境变量起作用

source ~/.zshrc

执行java -version, 出现JDK的版本信息即已配置成功

➜  ~ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)