Mac下使用homebrew安装Hadoop-3.1.1记录

最新推荐文章于 2023-10-09 11:45:52 发布
最新推荐文章于 2023-10-09 11:45:52 发布
阅读量2.6k 收藏 13
点赞数 5
分类专栏： 开源测试工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hualusiyu/article/details/84975156
版权
本文详细记录了在Mac系统中如何使用homebrew安装Hadoop 3.1.1的过程，包括环境配置、JDK安装、homebrew的使用、Hadoop的安装和配置，以及启动和检查Hadoop服务的方法。在安装过程中，强调了SSH配置和Hadoop相关配置文件的修改，确保Hadoop能够以伪分布式模式运行。
摘要由CSDN通过智能技术生成

 

Mac下使用homebrew安装Hadoop-3.1.1记录

 

环境说明

  • macOS Sierra 10.12.6
  • JDK 1.8.0_101
  • hadoop 3.1.1
  • homebrew

homebrew安装

  • HomeBrew 是OSX中的方便的套件管理工具。采用Homebrew安装Hadoop非常简洁方便（中文官网：http://brew.sh/index_zh-cn.html）
    复制如下代码安装：
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

配置 ssh localhost（免密登录）

  • 脱坑参考文章：(https://www.imooc.com/article/37545)
  • 因为安装hadoop需要远程登入的功能,所以需要安装ssh工具，但Mac下自带ssh，所以不需要安装ssh。可以通过如下命令验证：
$ which ssh
/usr/bin/ssh
$ which sshd
/usr/sbin/sshd
$ which ssh-keygen
/usr/bin/ssh-keygen
  • Mac OS X只需在  系统偏好设置-->共享-->远程登录 勾选就可以使用ssh了。

    系统偏好设置.png

注意：如果没有执行远程登陆勾选操作，在运行ssh localhost的时候

最低0.47元/天 解锁文章
花露丝雨
关注
专栏目录
Mac OS X 10.10 运用 Homebrew安装Hadoop 2.7.1
未选之路
03-02 1万+
整个安装过程分为四部分： 一. 安装Homebrew 二. 配置ssh localhost 免密码登陆 三. 安装Hadoop已经进行配置文件设置 （伪分布式） 四. 运行Hadoop
MAC下hadoop2.7.3安装
yamaxifeng_132的专栏
02-08 4559
MAC下hadoop2.7.3安装
MacOS 安装Hadoop3.1.1教程
Xurui_Luo的博客
11-22 1917
首先装Homebrew这个软件管理工具，具体过程在上一篇文章里 这里插一个链接 https://blog.csdn.net/Xurui_Luo/article/details/84191947 然后，用ssh登陆本地 ssh-keygen -t rsa -P "" //这一行运行完后，再出现最后带冒号时按Enter cat $HOME/.ssh/id_rsa.pub &
【Hadoop】MAC下hadoop2.6安装以及执行wordcount
weixin_34204057的博客
05-13 186
首先简单介绍下博主的配置环境 MAC 10.10.0 hadoop 2.6 JDK 1.6（可以在shell里用jdk -version查询） hadoop安装 安装的话推荐使用mac下面的brew，理由就是用brew安装的话，它会自动给帮你配置好相应的路径。当然也可以到官网下载，注意jdk和hadoop版本要对应。 b...
mac 下hadoop安装并运行例子
延彬的专栏
03-29 2370
1 安装 ＃brew install hadoop 安装的是2.6.0，目录为/usr/local/Cellar/hadoop,如果想安装其他版本，则下载tar包解压即可。地址：http://mirrors.cnnic.cn/apache/hadoop/common/ 2 配置 将hadoop可执行路径bin和sbin都配置到环境变量中 export HADOOP_HOME=/usr/l
homebrew-redis-cli：通过homebrew安装redis-cli
02-04
通过自制软件安装 。 安装 brew tap aoki/redis-cli brew update && brew doctor brew install redis-cli 凹凸公式 ./bump ${VERSION} > redis-cli.rb make link brew info redis-cli brew uninstall redis-cli ...
homebrew-aws-session-manager-plugin：使用Homebrew安装AWS Session Manager插件
02-04
要使用Homebrew安装AWS Session Manager插件，你需要先确保已经安装了Homebrew。如果没有，可以在终端中运行以下命令来安装： ```bash /bin/bash -c "$(curl -fsSL ...
Mac安装hadoop--单机模式
amberwest
09-16 531
在mac上安装Hadoop3.3.1，可以使用HomeBrew快捷安装。 安装HomeBrew /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 如果已经安装了HomeBrew，但更新失败可以参考其他做法： Mac-Homebrew-常见问题 | TimeMachine Notes 先删除core源，再重新brewtab关联，就可以更新bre..
homebrew-aws-cfn-template-flip：使用Homebrew安装AWS CloudFormation模板脚蹼
02-04
要使用 `homebrew-aws-cfn-template-flip`，首先你需要在你的 macOS 系统上安装 Homebrew。如果你还没有安装，可以通过在终端运行以下命令来安装： ```bash /bin/bash -c "$(curl -fsSL ...
mac安装hadoop3.2.4
最新发布
总钻风
10-09 484
etc：存放包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置>文件。libexec：各个服务所对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息。bin：存放基础的管理脚本和使用脚本，这些脚本是sbin目录下管理脚本的基础实现，用户>可以用这些脚本管理和使用hadoop。-- 指定HDFS老大（namenode）的通信地址 -->-- 指定hadoop运行时产生文件的存储路径 -->
Mac下安装Hadoop
尼古拉斯大树的博客
11-29 1694
hadoop安装，mac下安装hadoop
mac安装Hadoop3.2.1教程（超详细）
热门推荐
pgs1004151212的博客
02-19 1万+
由于课程需要和工具限制，需要在mac上安装Hadoop，参考了网上的教程，总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境，如果没安装homebrew、JDK环境的小伙伴请自行搜索mac终端安装homebrew、JDK教程。下面是安装Hadoop的具体流程，分三步...
Mac安装Hadoop
人不风流枉少年
03-05 1万+
1. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa （一路回车直到完成） （2）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys （3）chmod og-wx ~/.ssh/authorized_keys 然后重启终端，在命令行下输入&a
mac安装Hadoop和hive
岸芷汀兰
03-15 2325
参考MACbrew install hadoop
在Mac上安装Hadoop
weixin_30483697的博客
12-02 121
@import url(http://www.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.css);@import url(/css/cuteeditor.css); @import url(http://www.cnblogs.com/Load.ashx?type=style&file=SyntaxHighlighter.cs...
Mac下Hadoop单机模式安装
简单-生活
01-28 3275
一、安装Hadoop 1、配置ssh 配置ssh就是为了能够实现免密登录，这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。 如果机子没有配置ssh的话，在命令终端输入ssh localhost是需要输入你的电脑登录密码的。配置好ssh后，就无需输入密码了。 第一步就是在终端执行" ssh-keygen -t rsa -P ‘’ "， 之后一路enter键，当然如果你之前...
Mac端Hadoop2.7.2的安装
mislead1994的博客
05-07 1085
首先声明下，本人最近因毕设刚接触Hadoop，换Mac没多久，一开始对终端指令的输入也不是很熟悉，之前接触编程也比较少，所以文章中不足的地方请指教。在两周的摸索后，终于搞定了Hadoop的手动安装，这里用通俗的语言写篇文章给一些零基础想学Hadoop的Mac端的用户，顺便记录下自己摸索历程。
mac下hadoop环境的搭建以及碰到的坑点
chen
10-15 1万+
提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面一、首先要配置好java环境 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u1
为什么macOS用homebrew安装jpeg-turbo是2.1版本
06-01
在 macOS 系统上使用 Homebrew 安装 libjpeg-turbo 时，默认安装的是最新版本的 libjpeg-turbo。目前，最新版本的 libjpeg-turbo 是 2.1.0 版本。 如果您需要安装其他版本的 libjpeg-turbo，可以通过以下命令指定要安装的版本号： ``` brew install libjpeg-turbo@<version> ``` 例如，要安装 1.5.2 版本的 libjpeg-turbo，可以执行以下命令： ``` brew install libjpeg-turbo@1.5.2 ``` 需要注意的是，不同版本的 libjpeg-turbo 可能存在一些功能和 API 的差异，因此在使用不同版本的 libjpeg-turbo 时需要注意兼容性问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值