Mac安装配置Hadoop

最新推荐文章于 2024-07-17 16:52:56 发布
置顶 最新推荐文章于 2024-07-17 16:52:56 发布
阅读量1.3k 收藏 4
点赞数 1
文章标签： java hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43259354/article/details/109446137
版权
本文详细介绍了如何在Mac操作系统中配置Hadoop。首先，通过SSH设置远程登录权限，确保集群间的无密码访问。接着，利用Homebrew安装Hadoop，并进行版本验证。然后，逐步进行伪分布式安装，包括修改core-site.xml和hdfs-site.xml配置文件，格式化文件系统，启动Hadoop进程，并通过jps检查进程状态。最后，通过浏览器访问Hadoop信息，确认安装成功。
摘要由CSDN通过智能技术生成

一、SSH登陆权限设置_
SSH：secure shell,安全壳。是一种网络服务程序，传输数据安全高效。Hadoop是集群，不安装ssh会导致各服务器间无法访问。
（1）、打开远程登录，允许所有用户访问。

在这里插入图片描述
（2）、终端输入“ssh-keygen -t rsa -P “””
“cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys”
（3）、输入“ssh localhost”。
（4）、若无须输入密码即可登录，则ssh免密登录设置成功。

在这里插入图片描述
二、安装单机Hadoop
（1）、安装Hamebrew(Mac OS包管理器）

在这里插入图片描述
在这里插入图片描述
(2)、使用Homebrew,在终端输入

最低0.47元/天 解锁文章
徐州捕快
关注
mac安装hadoop及配置伪分布式
weixin_44570264的博客
06-20 822
mac安装hadoop 由于是mac系统，所以这里直接用homebrew安装hadoop，默认安装的位置是/usr/local/Cellar brew install hadoop #查看hadoop的信息 brew info hadoop 伪分布式配置 修改core-site.xml <configuration> <!-- 临时文件目录 --> <property> <name>hadoop.tmp.dir</
【笔记】Mac搭建Hadoop环境和配置
码农阿福的博客
07-08 1519
进入hadoop目录，在里面创建以下目录 配置hadoop的环境变量 进入hadoop目录下的/etc/hadoop/里面寻找和配置JAVA JDK 修改节点配置：主要改hostname 修改：主要改hostname 修改：主要是改hostname 启动hadoop: 在hadoop/bin目录下执行，启动hdfs 切换到hadoop/sbin/下，执行以下命令 master主节点启动，我这里只有一台机器看不到集群的效果.........
Mac下配置Hadoop环境
weixin_30492047的博客
06-04 114
下载Hadoop（我下载的是2.8.0版本） 点击此处下载 下载后，使用 tar -zxvf tar包名 解压tar包，解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs-site.xml m...
mac配置hadoop
长舒的博客
07-06 340
可以参考这篇博客 Mac配置hadoop环境 关于mac报22端口被拒绝的问题，参考解决Mac22端口报拒绝
【复习mac下配置hadoop】
YuuuPeeiiiii的博客
04-01 2405
复习hadoop配置
MAC系统安装Hadoop
wttey的博客
06-14 6227
mac系统hadoop安装与配置
mac hadoop安装hadoop 2.7.3
09-13
3. **配置Hadoop连接**：在Eclipse中，选择`Window -> Preferences -> Hadoop Map/Reduce -> Cluster`，添加新的Hadoop集群配置，填入Hadoop的安装路径和相关配置。 4. **创建Hadoop项目**：新建Java项目，导入...
MAC hadoop安装
01-07
一、hadoop安装 1.安装java 见 https://blog.csdn.net/jiuweiC/article/details/104356751 2. 配置SSH (1)首先在系统里打开远程登录，位置在 System Preference -> Sharing 中，左边勾选 Remote Login，右边选择 All...
Mac OS X上下载安装和配置hadoop指南
weixin_41952465的博客
08-20 871
Mac OS X上下载安装和配置hadoop指南jdk下载下载hadoop添加Hadoop环境变量修改Hadoop的配置文件启动Hadoop jdk下载 [可以在这个网盘去下载] https://pan.baidu.com/s/1CVuWES-F1PoaV63oL3nCHQ 因为没有orecal的账号，所以可以在这个网盘去下载，下载完成后双击打卡，按照步骤进行操作即可。 安装完成后，更改系统配置 vim ~/.bash_profile #这里的路径就是jdk所安装的路径，一般都是默认在此路径下，可以自行查
mac上安装hadoop
qfikh的博客
07-12 2183
这里介绍Hadoop在mac下的安装与配置。 安装及配置Hadoop 首先安装Hadoop $ brew install Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥： $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 将生成的公钥加入到用于认证的公钥文件中： $ cat ~/.ssh/id_dsa.pub >>
Mac下面配置hadoop 3.1.1
张欣的博客
12-09 5796
Java 版本1.8.0_18 mac os 10.13.6 hadoop 版本: 3.1.1 安装Java 首先要确定mac上是否安装了Java环境, 在命令行输入下面的语句就可以验证并得到Java的版本。 java -version 如果没有安装好Java环境，网上有很多安装Java的教程，大家可以去查阅。 安装hadoop 在mac上brew很方便的对软件进行安装和卸载。...
Mac搭建Hadoop
王者归来
11-20 441
1.安装jdk 2.安装hadoop 配置ssh ssh-keygen -t rsa 授权你的公钥到本地可以避免每次登陆时都要询问你的密码, cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys sudo systemsetup -f -setremotelogin on 报错setremotelogin: Turning Remote Login on or off requires Full Disk Access privileges
mac搭建hadoop
weixin_41927456的博客
04-23 551
前言：网上看了很多mac安装hadoop的教程，自己亲自来实际操作一遍。 1.首先要配置ssh，开启mac远程登陆，并将当前用户加入到允许用户登陆列表。 1.1选择系统偏好设置–共享，然后如下操作： 1.2避免使用hadoop命令时，多次输入密码。 以下命令一直按回车即可，最后如果报一个警告，直接yes即可。 ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub &gt...
mac安装hadoop
u011579204的专栏
07-08 222
首先在终端输入:ssh localhost，如果终端有返回Last login: Mon Jul 8 16:33:56 2019 说明你之前成功配置了SSH keys,如果没有返回该内容，请按下述步骤新建一个配置: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/author...
Mac 配置Hadoop、spark、Scala、jdk
hjjhjji的博客
03-17 2107
注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。下载安装（此用到的是2.12版本)
Mac配置Hadoop最详细过程
diba19990213的博客
03-14 639
Mac配置Hadoop最详细过程 原文链接:http://www.cnblogs.com/blog5277/p/8565575.html 原文作者: 博客园-曲高终和寡 https://www.cnblogs.com/landed/p/6831758.html 一.准备工作: 1. JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起...
MAC安装配置Hadoop3.*环境报错问题解决方案
loujun2016的博客
11-21 537
报错1: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable native-hadoop包问题 解决方案： 1、重新编译源码后将新的lib/native替换到集群中原来的lib/nat...
Mac m1安装hadoop配置Flink on yarn，并使用streampark启动Flink on yarn Application与session作业
最新发布
qq_41527073的博客
07-17 1138
本文将全流程介绍JDK安装、hadoop安装与配置、Flink安装与配置、Flink本地直接启动yarn-session模式、StreamPark安装与配置、StreamPark启动yarn-session模式、StreamPark启动yarn-application模式。
Mac下安装Hadoop
阿甘兄
02-18 7037
文章目录01 引言02 配置ssh环境02 安装与配置Hadoop03 启动Hadoop并验证3.1 启动Hadoop3.2 启动yarn服务 01 引言 如果想在Mac下安装Hadoop而且让Hadoop能正常运行，那安装之前需要先安装java，具体可以参考之前写的博客《Mac下安装JDK11（国内镜像）》。 好了，现在开始讲解如何在Mac环境下安装Hadoop。 02 配置ssh环境 在Mac下如果想使用Hadoop，必须要配置ssh环境， 如果不执行这一步，后面启动hadoop时会出现Connecti
Hadoop集群安装配置详细指南
5. **配置Hadoop**： - **主从节点划分**：确定Master节点（如NameNode、ResourceManager等）和Slave节点（DataNode、TaskTracker等）。 - **修改配置文件**：编辑如 `hdfs-site.xml` 和 `yarn-site.xml` 等配置...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

徐州捕快

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值