macOS配置Hadoop3.3.0环境（设置ssh免密登录时的坑）

最新推荐文章于 2022-12-15 14:58:29 发布

揣满RMB

最新推荐文章于 2022-12-15 14:58:29 发布

阅读量644

点赞数

分类专栏： hadoop学习文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_47305759/article/details/109719413

版权

本文详细记录了在macOS上配置Hadoop3.3.0环境的过程，特别是设置SSH免密登录时遇到的问题及解决方法。包括安装JDK、HomeBrew、Hadoop，以及配置SSH和Hadoop环境变量等步骤，旨在帮助读者避免在搭建过程中遇到的困扰。

摘要由CSDN通过智能技术生成

macOS配置Hadoop3.3.0环境（设置ssh免密登录时的坑）

本人是hadoop小白，踩的坑也是蛮多的，前前后后花了两天多时间才搞定，基本的思路网上已经有很多篇在说了，这里我就总结一些自己踩的坑，希望能帮到需要的人。

参考文章：
MAC下搭建Hadoop运行环境

MAC hadoop3 安装

安装jdk

尽量安装低版本的，如java8，安装方法可自行百度

安装HomeBrew

我是通过brew安装hadoop，比较方便，也可以自己去官网下载源包然后解压
见文章https://www.cnblogs.com/liyihua/p/12753163.html 跟着中文提示可以一路顺利安装

/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Home

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

揣满RMB

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

记录 | ssh config免密连接

极智视界

12-02

727

记录 | ssh config免密连接

Hadoop3.2 集群搭建

多一份贡献,多一份环保

04-28

1023

Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。大猪为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12 对应的hostname为m1.example.com、m2.e...

1 条评论您还未登录，请先登录后发表或查看评论

mac OS X安装配置hadoop3.3.0

weixin_51320625的博客

11-01

1677

Mac OS使用brew安装Hadoop3.x及环境配置 #Java/Hadoop安装以下内容针对的是macOS X系统下安装配置Hadoop，参考了其他前辈的经验以及尚硅谷的大数据培训视频 Hadoop安装 1.1安装准备一：Java安装 Hadoop是基于Java开发的，所以安装Hadoop前需要安装好Java，也即JDK。直接在Java官网下载DMG安装包，安装步骤安装即可，结束后在终端输入命令测试是否安装成功。 $ java -version 1.2安装准备二：homebrew安装终端输入命令

大数据2_04_hadoop3.x集群免密登录配置

qq_43523503的博客

10-10

171

免密登录配置步骤1：在102上执行ssh-keygen -t rsa 步骤2：复制公钥到ssh-copy-id hadoop103 这样hadoop102就可以免密登录到hadoop103了，但是hadoop103不能免密登录hadoop102 步骤3：集群分发同一份私钥公钥对 ssh-keygen -t ecdsa ssh-copy-id hadoop102 xsync ~/.ssh 这样分发同一份公钥和私钥对，就可以相互的免密登录了。问题1：为什么只需要分发hadoop102的家目录内

CentOS 安装JDK

LFQJava的博客

03-27

130

下载下载地址 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 安装将下载的 jdk 文件上传到 CentOS 系统中将文件解压到 /usr/local/ 目录下 tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/ 配置在 /etc 目录下的 profile 文件中追加以下内容：命令：vi /etc/profile ex

Mac上搭建Hadoop环境(1) — 虚拟机的安装及SSH免密设置

abc33880238的博客

03-23

575

文章目录前言准备工作安装虚拟机虚拟机网络设置设置静态ip更新hosts文件设置SSH免密测试前言准备在自己的MBP上搭建一个小的Hadoop集群玩玩，顺便看看会遇到什么坑。初步打算设置三个节点，其中将MBP设置为master节点，另外用虚拟机创建两个slave节点。第一步的主要任务有：创建2个虚拟机设置静态ip 设置ssh免密登...

谈笑间学会大数据—Mac系统ssh免密登录配置教程

阿尼古

12-15

798

Mac系统ssh免密登录配置教程

SSH修改登录端口并配置免密登录（非root）

PitBXu的博客

11-12

2528

实验环境本地 MacOS 10.14.4 远程服务器 CentOS 7.5 64位 Firewalld 本地命令前缀 [admin@MacBookPro]$ 服务器命令前缀 [A@CentOS]$ 最近在建站后，发现不到2天我的小破站就有600次ssh远程登录的尝试。心中不免一阵寒意，为了解决这个问题特地读取了ssh官方的文档，对网站的ssh登录进行了一些措施。首先要了解 SSH免密登录的原理，免密登录需要使用 ssh 的非对称加密方式，登录无需密码，但是需要携带秘钥。本地若想登录.

详解MacOs免密登录CentOs操作步骤

08-25

主要介绍了详解MacOs免密登录CentOs操作步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

Hadoop3.3.0安装与使用

技术博客

03-23

753

brew install hadoop 配置本地登陆 cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys 系统配置系统->共享里的：配置hadoop四个文件 hadoop-env.sh 添加java home export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home mapred-site.xml 添加 <configuration&

hadoop前戏配置二：网络环境、ssh免登录、防火墙关闭

weixin_34124939的博客

01-15

1、配置网络：选择仅主机模式 host-only配置ip地址。重启网络服务：Service network restart查看ip地址：Ifconfig软件pietty2、修改主机名：类似于域名Pwd 显示当前目录Hostname 显示主机名Hostname hadoop 设置主机名重启后失效Vi /etc/sysconfig/network 编辑文件一劳永逸Hostname = hado...

Hadoop 集成Snappy 全流程记录提供依赖组件【MAC 躺坑记录】

留歌__36的博客

12-20

656

写在前面之前我在本地创键Hive表的时候一般都是以textFile格式进行存储的，最近玩的一些大表确实占用空间的，就想着Parquet格式存储+Snappy压缩来实现数据的存取。殊不知， Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path 于是我检查了下本地环境： ➜ ~ hadoop checknative 20/12/20 12:00:33 WARN util.NativeCodeLoader:

mac电脑设置 ssh localhost免密码登陆 hadoop需要

chen

10-14

2707

1. ssh-keygen -t rsa Press enter for each line 提示输入直接按回车就好 2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3. chmod og-wx ~/.ssh/authorized_keys 如果ssh localhost还需要密码查看一下你.s

Mac Serria 安装Hadoop以及免密码登录localhost

weixin_30472035的博客

03-22

112

1. 安装hadoop 最近想学习下hadoop的使用，尝试在mac上进行安装。这里也放一下mac安装hadoop的简单教程。安装hadoop在mac上非常简单，使用brew这个工具可以非常方便的安装hadoop。安装好brew之后，直接使用 brew install hadoop 即可安装hadoop2.7.3。重要的部分是如何配置hadoop的一些文件，一共要配置5个文件。 hadoop-...

hadoop源码编译：支持snappy压缩

HAHA的专栏

02-17

4825

hadoop源码编译：支持snappy压缩在大数据的情况下，数据量都是特别的大，有时候呢，我们想把数据进行压缩之后在进行处理，这样呢可以大幅度的减少磁盘的IO而且还可以减少网络传输的压力，具体来讲对于本地的数据任务来讲，例如在map任务下，适当的对数据进行压缩，可以减少磁盘的IO，在涉及到reduce任务的时候呢，reduce就会从远程的磁盘进行数据拷贝，那么压缩数据就会减缓

Hadoop添加snappy压缩支持

Python_Billy的博客

03-24

1373

启动hadoop后，使用如下命令查看压缩支持： hadoop checknative 出现下列输出，snappy为false，则需要手动添加snappy支持 Native library checking: hadoop: true /opt/bigdata/hadoop/hadoop-3.1.4/lib/native/libhadoop.so.1.0.0 zlib: true /lib/x86_64-linux-gnu/libz.so.1 zstd : true /lib/x86_64-li

Hadoop集群配置免密登录方法

Yummy的博客

02-12

1064

Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。一、Hadoop集群环境二、免密登录原理每台主机authorized_keys文件里面包含的主机（ssh密钥），该主机都能无密码登录，所以只要每台主机的authorized_keys文件里面都放入其他主机（需要无密码登录的主机）的ssh密钥就行了。三、实现方法 1. 配置每个...

hadoop集群搭建的无密登陆配置

Turn X7

01-12

1027

启动hadoop时，总是要输入密码，如下图：如何避免这种操作呢？首先得了解下SSH协议了，SSH协议支持两种登录方式，一种是通过密码验证登录，另一种就是通过秘钥验证登录，如果秘钥不配，默认就使用密码验证方式，所以要实现基于SSH协议的无密登录就得配置相关秘钥。具体秘钥验证过程如图我们要做的就是黑色箭头所指流转过程，生成本机秘钥对，并将公钥并放置到另一台主机上即可： 1.生......

macos配置ssh别名登陆并免密登录