mac上安装Hadoop伪分布式实验环境

本文详述了在macOS 10.14.5上安装Hadoop 3.2.1_1的步骤,包括使用Homebrew、配置SSH免密登录、安装Hadoop并设置伪分布式模式。主要涉及的配置文件有hadoop-env.sh、Core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml。成功后,可通过jps命令检查进程,并通过WebUI(9870和8088端口)验证安装。最后,提供了一个测试案例验证Hadoop环境的正确性。
摘要由CSDN通过智能技术生成

配置环境:macOS 10.14.5
hadoop版本:3.2.1_1
时间:2020.2.29

安装Homebrew

Homebrew在mac上很常用,不多叙述,安装方法

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

SSH登陆本地

配置不用密码就能SSH到本地

ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

然后执行

ssh localhost

如果报错的话,可能是mac没有设置远程登陆
“系统偏好设置” -> “共享” -> “远程登陆” 打开即可
登陆成功会提示类似信息

Last login: Sun Mar  1 12:18:15 2020 from ::1

安装Hadoop

brew install hadoop

会下载openjdk,hadoop,autoconf三个软件在homebrew的默认目录 /usr/local/Cellar下。建议这一步骤在终端挂代理,否则openjdk的速度会相当慢。
下载完成后,我们的Hadoop就已经是单机模式了。

配置伪分布式模式

我们要配置的文件都在目录 /usr/local/Cellar/hadoop/3.2.1_1/libexec/etc/hadoop/下

hadoop-env.sh

配置jdk,JAVA_HOME配置成自己的(brew安装应该是默认配置好的,但可能因为我之前又一个JD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值