大数据：01 详解MacOS下Hadoop的安装与运行

目录

Hadoop的安装与运行

1. 笔者所用环境

2. 从安装到运行

2.1 设置SSH登录权限

2.2 安装JAVA环境

2.3 安装hadoop

2.4 进行伪分布式配置

2.5 启动伪分布式hadoop

2.6 处理WARN

2.7 运行Hadoop伪分布式实例

---

Hadoop的安装与运行

  Hadoop的安装大致分为5步：

1. 创建hadoop用户（Mac系统就用自己的用户吧，这一步就省略了，免得引起不必要的麻烦）

2. 设置SSH登录权限

3. 安装JAVA环境

4. 单机安装配置

5. 伪分布式安装配置

1. 笔者所用环境

macOS 10.14.6

 

2. 从安装到运行

2.1 设置SSH登录权限

SSH是Secure Shell的缩写，是建立在应用层和传输层基础上的安全协议。配置SSH是为了实现无密码登录。在hadoop集群使用过程中，需要不断地访问各个名称节点（NameNode），NameNode上的相关进程要不断地访问其他节点上的守护进程（daemon）来进行相互的通信，为了让hadoop能够无障碍的登录其他机器，必须设置无密码的SSH登录方式。

首先，进入 设置->共享，勾选远程登录，并允许所有用户的访问。

然后，打开 终端，输入 ssh localhost，接下来输入密码，就可以ssh成功。

 

2.2 安装JAVA环境

Hadoop是一个用Java开发的开源框架，它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。所以，我们需要准备好Java环境。

首先打开 终端，输入  java -version，查看当前Java版本，最近几年的mac应该都内置了java，只不过有可能版本会比较低，而低版本会影响hadoop的安装，如果版本实在过低就去Oracle官网下载安装最新的Java。

如果  java -version 执行后提示没有java，那么也去官网安装。

附上网址：甲骨文官网下载Java安装dmg

安装完成后，我们配置一下JAVA的环境变量。JDK都是安装在 /Library/Java/JavaVirtualMachines 这个目录下的，这个目录里可能会有多个JDK的版本，我们将合适（新）的版本写入环境变量即可。

在终端中输入 vim ~/.bash_profile，以配置Java路径。其中，“~”代表当前用户的根目录；“.bash_profile”文件中的bash全称Bourne-Again Shell，是对shell的一种拓展，顾名思义，“.bash_profile”即bash的配置文件。

用vim打开文件后，用英文输入法随便键入一个字母，以打开insert模式输入。然后我们使用export关键字修改环境变量，在空白行输入 export JAVA_HOME="/Library/Java/JavaVirtualMachines/你选择的jdk版本.jdk/Contents/Home“ 语句，注意路径到 Home 这一级就可以了。然后按下 ESC键进入vim的命令编辑模式，在英文输入法下，再输入 :wq 即可写入并退出。

然后，执行 source .bash_profile 使配置文件生效。再在终端中输入   java -version，就可以看到Java版本了。

注意，在终端中输入 which java </