MAC PRO OS 安装 Hadoop 3.3.1 [防止踩坑]

已于 2023-01-17 01:34:03 修改
阅读量2.2k 收藏 10
点赞数 2
分类专栏： 安装 文章标签： python hadoop macos
于 2021-11-23 23:21:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eillfyh/article/details/121504951
版权

先安装好Homebrew

苹果电脑 常规安装脚本（推荐 完全体 几分钟安装完成）：
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)

苹果电脑 极速安装脚本（精简版 几秒钟安装完成）：
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" speed

其次装好JAVA

brew install java

安装maven和gmp

brew install maven
brew install gmp

设置ssh免密登录[后续执行start-dfs.sh需要SSH验证 为了简单起见不设密码]

ssh-keygen -t rsa一直回车后
cd ~/.ssh

将公钥写入~/.ssh/authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

打开共享
打开共享

进行测试
ssh localhost

安装Hadoop

brew install hadoop
为了保证网络通畅，请科学上网！用时大概2-3小时…
在这里插入图片描述

找到自己的JAVA_HOME路径

我的在usr/libexec/java_home
执行/usr/libexec/java_home即可得到路径
/Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home
如有像我的Internet Plug-Ins中间有空格的请注意，加一斜杠转义
/Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin/Contents/Home

配置Hadoop文件

1.修改存储hadoop元数据文档
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/core-site.xml

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp</value>
  </property>
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:8020</value>
  </property>
</configuration>

2.修改hdfs-site.xml文档
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/data</value>
    </property>
</configuration>

3.设置Hadoop环境变量
vim ~/.bash_profile

export HADOOP_HOME=/opt/homebrew/Cellar/hadoop/3.3.1/libexec
export HADOOP_COMMON_HOME=$HADOOP_HOME
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/opt/homebrew/Cellar/scala/bin

执行source ~/.bash_profile更新环境变量。

4.配置yarn文件yarn-site.xml
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
  </property>
</configuration>

4.配置yarn文件yarn-site.xml
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
  </property>
</configuration>

5.配置yarn文件mapred-site.xml
vim /opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop/mapred-site.xml

<configuration>
	<property> 
	  <name>mapreduce.framework.name</name>
	  <value>yarn</value>
	</property>
</configuration>

MAC⚠️还需配置如下：
6.cp lib/native库 至 libexec目录
这样作为java为执行语言的hadoop就有了编译器
否则在start-dfs的时候会出现报错
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。

解决办法：

  1. 先下载lib/native
  2. 然后copy这个文件夹至/usr/local/Cellar/hadoop/3.1.1/libexec
  3. 配置 /usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop/hadoop-env.sh
export JAVA_HOME=你的java_home路径（见上面：找自己的JAVA_HOME路径的方式）
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

start Hadoop

依次执行以start namenode
cd /opt/homebrew/Cellar/hadoop/3.3.1/bin
hdfs namenode -format
(⚠️:namenode初始化一次就好,也就是上面两个命令无论你开hadoop几次,都执行一次就好! 如果多次执行就需要你把/opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/data 和 /opt/homebrew/Cellar/hadoop/3.3.1/libexec/tmp/dfs/name里的current文件夹删除掉！！)

start:
cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin
./start-dfs.sh

网页查看是否成功
http://localhost:9870/dfshealth.html#tab-overview

stop:
./stop-all.sh

start yarn

依次执行
cd /opt/homebrew/Cellar/hadoop/3.3.1/sbin
./start-yarn.sh

网页查看是否成功
http://localhost:8088/cluster

文件查看与管理

文件管理

如果想要具体的可视化工具可安装HUE

详见：https://zhuanlan.zhihu.com/p/135331195

其它

在此感谢如下文章：
Mac安装Hadoop
https://blog.csdn.net/weixin_44864748/article/details/121066700
Mac的Hadoop开发环境搭建
https://www.jianshu.com/p/3f1e0a93c679
Warning: Permanently added the ECDSA host key
https://blog.csdn.net/qq_16069927/article/details/88963530
Mac修改环境变量路径中带空格的处理
https://blog.csdn.net/taoerchun/article/details/110938758
Mac安装Hadoop
https://blog.csdn.net/vbirdbest/article/details/88189753

如需转载请把以上感谢的文章加上😊

是一欧
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Hadoop 集成Snappy 全流程记录 提供依赖组件 【MAC 躺坑记录】
留歌__36的博客
12-20 616
写在前面 之前我在本地创键Hive表的时候一般都是以textFile格式进行存储的，最近玩的一些大表确实占用空间的，就想着Parquet格式存储+Snappy压缩来实现数据的存取。殊不知， Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path 于是我检查了下本地环境： ➜ ~ hadoop checknative 20/12/20 12:00:33 WARN util.NativeCodeLoader:
Hadoop3.3.1详细教程（五）Hadoop全分布式搭建
Java朱老师博客
08-23 2258
一、haoop解压、创建软连接 将hadoop-3.3.1.tar.gz上传到服务器~/apps下 tar -xf hadoop-3.3.1.tar.gz -C /usr/local 进入/usr/local 后使用 ln -s hadoop-3.3.1 hadoop3 创建一个软连接 二、配置环境变量 在/etc/profile.d下使用vi命令新建hadoop.sh export HADOOP_HOME=/usr/local/hadoop3 export PATH=$PATH:$HADOO
大数据入门实践一：mac安装Hadoop，Hbase，FLume
最新发布
The night of summer
06-16 1054
安装hadoop参考此文，关键点是安装JDK和Hadoop的配置，为避免引用文章变收费，我把关键信息摘录如下：jdk安装和配置就不说了，hadoop安装过程：1. 打开系统偏好设置，在输入框输入sharing（共享），勾选”远程连接“：2.打开终端，依次输入如下命令： 3.输入【ssh localhost】验证，无需输入密码则成功到官网下载需要的版本，我下载的是3.3.6，然后解压到用户下自己用户名的目录下：(1)vim ～/.zprofile（路径修改为自己安装包的路径） 输入【source ~/
macOS Catalina安装hadoop （brew）及遇到问题记录
weixin_45430676的博客
08-01 495
本文主要参考以下方法安装，安装过程遇到一些问题，除了以下注意点之外，安装过程与链接教程一样。 Mac Homebrew 安装 Hadoop 遇到问题 namenode初始化失败，无法启动相应服务 8088端口打不开，服务启动相应服务 注意点： 配置文件 core-site.xml 这里注意权限问题，我是在home目录下新建的文件夹：/Users/username/hadoop_tmp, 其中，username为自己的用户名： <property> <name>hadoo.
Mac安装Hadoop
人不风流枉少年
03-05 1万+
1. ssh免密登录 具体配置方法： （1）ssh-keygen -t rsa （一路回车直到完成） （2）cat ~/.ssh/id_rsa.pub &amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; ~/.ssh/authorized_keys （3）chmod og-wx ~/.ssh/authorized_keys 然后重启终端，在命令行下输入&amp;a
MAC下搭建Hadoop运行环境
热门推荐
公众号：白程序员的自习室
07-20 1万+
Hadoop环境的搭建和配置还是有些麻烦的，尤其是mac,此处整理下自己搭建的过程和步骤。
hadoop-3.3.1 windows + apache-hadoop-3.1.0-winutils-master.zip
05-08
2. **配置环境变量**：打开系统环境变量设置，添加新的系统变量`HADOOP_HOME`，指向你的Hadoop安装目录（如`C:\Hadoop\hadoop-3.3.1`）。同时，将`PATH`变量中添加`%HADOOP_HOME%\bin`和`%HADOOP_HOME%\sbin`，以便...
Hadoop安装包3.3.1 64位
12-30
基于JDK8编译的hadoop3.3.1; 安装教程https://blog.csdn.net/l576754326/article/details/122216004?spm=1001.2014.3001.5501
Hadoop3.3.1分布式集群搭建详细教程
02-24
Hadoop3.3.1分布式集群搭建详细教程，简单零基础一站式搭建
编译hadoop3.3.1所需文件.rar
01-09
在本压缩包中，我们拥有编译Hadoop 3.3.1所需的所有关键文件，这对于在CentOS 7系统上构建自定义Hadoop环境至关重要。以下是对每个文件及其相关知识点的详细说明： 1. **hadoop-3.3.1-src.tar.gz**：这是Hadoop ...
hadoop-3.3.1-aarch64.tar.gz
06-30
标题 "hadoop-3.3.1-aarch64.tar.gz" 暗示这是一个针对aarch64架构（ARM64）的Hadoop 3.3.1版本的压缩包，适合在运行M1芯片（苹果公司的ARM架构处理器）的Mac系统上使用。Hadoop是一个开源的分布式计算框架，它允许...
macOS 安装 Hadoop
AxtonSun的博客
10-22 574
默认 JAVA 已安装成功 第一步：安装 HomeBrew ，HomeBrew 官网：https://brew.sh/ 打开 Mac 终端，复制下面的话并回车 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 第二步：配置SSH 为了确保在...
记一次mac安装Hadoop经历
qq_41973051的博客
09-15 350
文章来自小白中的小白：白中白 参考https://www.jianshu.com/p/935b4c5e4c25 首先，自己已经有了JDK，也配置成功了。终端打开 vi ~/.bash_profile “i”开始插入。自己已经配置好了JAVA_HOME，esc，:wq export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATH export PATH...
安装hadoop和spark
he_wen_jie的博客
10-01 949
scala spark 可以看到spark要求hadoop版本大于2.7，解压完后添加到环境变量中（） hadoop 记得版本要大于2.7 winutils 这个是保证hadoop在windows正常运行的依赖，找到与hadoop对应的版本，将bin里面的文件拷贝到hadoop的bin目录里 ...
Hadoop安装教程 Mac版
qq_42855570的博客
03-23 4339
Hadoop安装教程 Mac版 一、JDK环境安装 1. 下载JDK1.8 Oracle官网下载JDK1.8版本 按照系统提示安装 2. 配置JDK环境变量 在terminal中输入 vi ~/.bash_profile ，按 i 进入编辑模式： JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/Home export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA
Homebrew的介绍和使用
joker_187的博客
10-28 350
开启传送门：Homebrew的介绍和使用
Mac Catalina安装配置hadoop hive hbase（ 完整可用版）
技术博客
10-24 563
网上看了很多文章都不完整，所以亲自写一遍。 brew 安装 brew reinstall hadoop hive hbase hadoop配置与操作 进入主目录： /usr/local/Cellar/hadoop/3.1.2 配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop 1.修改hadoop-env.sh中的JAVA_...
【MapReduce】Mac上单机Hadoop安装
Mr_zhuo_的博客
10-20 572
说明： 安装JDK版本：jdk1.8.0_231 安装Hadoop版本：3.2.1 1. 安装JDK https://www.jianshu.com/p/a85658902f26 注意添加export那一行的时候根据自己的jdk版本更改，我的是jdk1.8.0_231.jdk，不是jdk1.8.0_211.jdk。 2. 安装Homebrew和Homebrew-cask ...
Mac下使用homebrew安装Hadoop-3.1.1记录
hualusiyu的专栏
12-12 2641
  Mac下使用homebrew安装Hadoop-3.1.1记录   环境说明 macOS Sierra 10.12.6 JDK 1.8.0_101 hadoop 3.1.1 homebrew homebrew安装 HomeBrew 是OSX中的方便的套件管理工具。采用Homebrew安装Hadoop非常简洁方便（中文官网：http://brew.sh/index_zh-cn.ht...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值