记录新手在mac下安装hadoop3.2.1的心得_macos pip install hdfs3-CSDN博客

本文链接：https://blog.csdn.net/PiniySwagge/article/details/104436257

- 环境**

mac os mojave 10.14.6
jdk 8u241
homebrew 2.2.5
hadoop 3.2.1

1. 安装homebrew

在安装好jdk（直接到官网去下载）后，先安装homebrew。
中文版网址：https://brew.sh/index_zh-cn.html
按“commacd+空格”打开搜索“终端”，进入终端。复制图中的链接到终端即可
将上图中的链接/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"完整的复制到终端，如下图（这里的链接会随着Homebrew的更新而改变，所以推荐去官网复制）。在这里插入图片描述
按下回车后出现：继续按回车，提示你要输入密码。这里的密码就是开机密码，由于保密性你输入的密码是看不见的，不过不影响，输完密码后按回车即可。
此后只需要静静等待安装完毕就行了！我安装的时候出现过好几次装到一半就失败的问题，网上也有很多人给出了方案（我没试过），有耐心的话多试几次就可以装上了。
更详细的Homebrew安装教程可以参考：https://www.cnblogs.com/wynjauu/articles/10663376.html
PS.如果我在安装的中途失败了，会选择先执行一次卸载命令把装到一半的东西卸干净再重新执行安装命令。如果要卸载homebrew就在终端执行
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall)"
Homebrew一般存放在/usr/local里面，通过Hombrew下载的软件会放在/usr/local/Cellar里面。需要注意的是/usr文件夹不能通过一般的途经打开，可以在打开Finder（访达）后按住“commacd+shift+G”打开搜索的窗口，直接输入/usr/local即可前往。可以在终端执行brew --version查看你安装的homebrew版本。

2. 安装Hadoop

装好Homebrew之后就可以安装Hadoop了，同样打开终端输入：

brew install hadoop

即可自动安装Hadoop（使用homebrew安装的软件都是最新版本的）。之前我已经装过jdk 8u241并且已经完成了配置，但是执行以上命令时自动安装了openjdk和autoconf，所以我的Cellar文件夹里有三个软件…… 在这里插入图片描述
尽管我在网上查看了许多教程，但是都没有提及为什么要安装openjdk和autoconf，所以对我来说这还是一个未解之谜。
同样通过在终端执行一下内容即可查看hadoop的版本。

hadoop version

如果出现以下信息说明安装成功。在这里插入图片描述
在终端输入

hadoop

出现以下内容说明单机模式已经成功了（只截取了部分）。
在这里插入图片描述

3. 配置Hadoop

1. 开通ssh

在“系统偏好设置”-“共享”中打开“远程登录”。在这里插入图片描述
执行以下命令创建密匙：

ssh-keygen -t rsa -P “”
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

接下来测试登陆本地，在终端输入：

ssh localhost

如果出现

Last login: Fri Feb 21 22:55:58 2020

代表成功了！（因为时间不一样每个人的信息会不一样）

2. 配置伪分布模式

进入/usr/local/Cellar/hadoop/3.2.1_1/libexec/etc/hadoop/进行以下操作：

1.打开hadoop-env.sh文件，找到这一串代码： 在这里插入图片描述
“export JAVA_HOME=”这行代码本来也是注释，将前面的#去掉，将矩形框里面的内容替换成自己的jdk地址（在终端输入/usr/libexec/java_home即可得到），然后保存。
2.修改core-site.xml中代码：

3. 修改mapred-site.xml中代码： 在这里插入图片描述
4.修改hdfs-site.xml中代码：
5. 修改yarn-site.xml中代码：

6.在终端输入以下代码来运行

hdfs namenode -format

会出现很多很多东西，在最后是这样的：在这里插入图片描述
7.启动NameNode和Datanode
进入/usr/local/Cellar/hadoop/3.2.1_1/libexec/sbin 路径后启动NameNode和datanode，可以在浏览器地址栏输入 http://localhost:9870看到Overview页面。