Mac 安装 Hadoop 教程【避坑指南】

安装教程

参考 优雅的使用macOS-homebrew-5-安装大数据hadoop环境

必要工作

1. homebrew 安装配置
2. jdk 安装配置
3. ssh无密码登录配置 参考 Mac下配置ssh无密码登录远程服务器

正式安装

1. brew install hadoop
2. brew list hadoop 找到所在文件夹，下面会用到路径

配置

1. 修改配置文件 core-site.xml
   cd /usr/local/Cellar/hadoop/3.2.1_1/libexec/etc/hadoop 不要直接复制，从上面的 list 找到本机对应的文件夹路径
   vim .core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 修改配置文件 mapred-site.xml
   vim mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9010</value>
    </property>
</configuration>

3. 修改配置文件 hdfs-site.xml
   vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4. 格式化 hdfs
   hadoop namenode -format

启动

cd /usr/local/Cellar/hadoop/3.2.1_1/sbin 不要直接复制，从上面的 list 找到本机对应的文件夹路径

./start-all.sh

可能会遇到报错

ssh connect to host localhost port 22: Connection refused

解决办法：参考 解决mac下 ssh: connect to host localhost port 22: Connection refused

cd ~
ssh localhost
//ssh: connect to host localhost port 22: Connection refused
sudo systemsetup -f -setremotelogin on
 
ssh localhost
//success
Last login: Wed Oct 21 22:03:50 2020

有可能输入 sudo systemsetup -f -setremotelogin on 后提示

setremotelogin: Turning Remote Login on or off requires Full Disk Access privileges.

那么就要打开设置-安全性与隐私-隐私-完全磁盘访问权限，把终端的访问权限打开

重启终端，继续启动 Hadoop

cd /usr/local/Cellar/hadoop/3.2.1_1/sbin 不要直接复制，从上面的 list 找到本机对应的文件夹路径

./start-all.sh

如果遇到类似的报错：

datanode is running as process 17424. Stop it first.

先关闭所有进程服务
./stop-all.sh

再重新运行
./start-all.sh

还有问题就重启终端试试

检查启动情况

jps

然后可以访问如下几个管理页面

Resource Manager: http://localhost:9870
JobTracker: http://localhost:8088

安装完成～～