hadoop-3.3.3搭建单节点，解决JAVA_HOME和rcmd: socket: Permission denied

最新推荐文章于 2022-10-09 16:57:02 发布
最新推荐文章于 2022-10-09 16:57:02 发布
阅读量571 收藏 1
点赞数
分类专栏： 存储 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kangyucheng/article/details/125171733
版权

一、搭建步骤

Apache Hadoop 3.3.3 – Hadoop: Setting up a Single Node Cluster.icon-default.png?t=M4ADhttps://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

二、具体问题解决方法

1.JAVA_HOME

安装java，jdk8即可

apt install openjdk-8-jdk-headless

 将上面的配置改为自己本机路径，但一开始可能不知道自己的java路径在哪。

 

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

 

2.启动失败

用root用户的话

ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

 用普通用户的话

pdsh@yucheng: localhost: rcmd: socket: Permission denied

本质在于官网有一步配置

在 /etc/environment 中加入

PDSH_RCMD_TYPE=ssh

 如图

 

校验结果

 

康雨城
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
详解Nginx 13: Permission denied 解决方案
09-30
主要介绍了详解Nginx 13: Permission denied 解决方案,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
leetcode答案-hse:安全性
06-30
leetcode 答案 描述 课程大纲和先决条件 前言 HSE 和学生的信息管理课程（2020 年秋季） 课程形式：混合 教育技术：和 概述：在这个以实践为导向的数据分析模块中，学生将学习如何使用计算机程序运行预测模型和分析。 主要原则是探索现有数据以构建新知识、预测未来行为、预测结果和趋势。 探索理论和实践，并使用 Python 等工具解决管理领域的高级数据科学问题。 每个研讨会的结构（测试日除外） ： 回答有关自学内容的问题 Python 编程的附加（基本和中级）提示 讨论来自实体行业数据分析和面试问题的应用任务（中级和高级） 在线交流：仅通过会议提供（使用您的@edu.hse.ru ）。 一些重要信息将在 LMS 中复制并发送到您的群组电子邮件中。 投稿平台：LMS； 斯皮克； GitHub 课堂 {% 提示样式="警告" %} [画中画] JR 帕克 (2016)。 Python：编程、Mercury 学习和信息简介（可从 HSE 获得）。 [ PDSH ] 范德普拉斯，JT（2016 年）。 Python 数据科学手册：处理数据的基本工具。 加利福尼亚州塞瓦斯托波尔：O'Re
Centos 8安装pdsh
qq_41748940的博客
11-23 1335
Centos 8 安装pdsh 先安装epel库： sudo yum install epel-release 然后安装pdsh： sudo yum install pdsh
hadoop搭建全分布环境踩过的坑
三暮辰的博客
08-20 674
1.创建的三台虚拟机之间ping不通 2.运行start-dfs.sh时，出现rcmd:socket:Permission denied错误 3.运行start-all.sh时，启动namenode和datanode出现ssh exited with exit code 1 3.1 每一个公钥都要写入authorized_keys文件 3.2 环境变量配全 4.namenode无法启动 5.将hadoop上传至其他节点出现permission denied 6.格式化namenode出现data文件夹不可用
伪分布式Hadoop下对HDFS的操作常见问题
Software_E的博客
11-29 619
伪分布式Hadoop下对HDFS的操作常见问题 先行条件： 已经配置好了 伪分布式 的 Hadoop ，并且可以 正常启动 伪分布式集群。 若没有的话，按如下步骤操作： 首先到以下镜像网站下载需要的Hadoop版本(无论哪个版本，下载 最大 的那个压缩包)：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 然后使用tar命令解压到目标文件夹下： # 下面是解压到了主目录下 /home/username tar -zxf hadoop
./sbin/start-dfs.sh时出现localhost: rcmd: socket: Permission denied
weixin_43644978的博客
10-17 1823
直接在终端输入【sudo gedit /etc/pdsh/rcmd_default 】 然后在打开的文件里输入【ssh】 再输入【./sbin/start-dfs.sh】 就能正常输出 Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [ash-virtual-machine] ...
rcmd: socket: Permission denied
qq_48805027的博客
01-06 1010
/usr/bin/sshpass -p ${PASS} ssh -n ${USER}@${IP} pdsh -w dc-hadoop-nn-1 'hostname;data;ls -lrt /data/hadoop/hdfs/namenode/current | tail -n 20' >> ../log/checkresult.log
pdsh rcmd: socket: Permission denied问题解决办法
Flamewaker的博客
05-08 3714
最近在启动Flink集群的时候出现如下的问题： rcmd: socket: Permission denied 一开始采用的方式是：在目录/etc/pdsh下面新建文件rcmd_default，写入ssh sudo mkdir /etc/pdsh/ sudo vim /etc/pdsh/rcmd_default 然而并没有解决我的问题。后来找到了另一种办法： 先检查了pdsh default rcmd rsh pdsh -q -w localhost 发现pdsh default rcmd为rs
bash sbin/start-yarn.sh出现localhost: rcmd: socket: Permission denied
qq_29579431的博客
01-02 1363
首先创建 /etc/pdsh/rcmd_default文件 sudo gedit /etc/pdsh/rcmd_default 在文件中写入ssh
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。...Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Apache Hadoop （hadoop-3.3.3.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
Apache Hadoop （hadoop-3.3.3-src.tar.gz）
05-28
Apache Hadoop （hadoop-3.3.3-src.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到...
解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够问题
08-25
主要介绍了解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够的问题,需要的朋友可以参考下
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
hadoop中hdfs的编程指南，很有意义，推荐看一下。
【存储知识学习】第八章-Fibre Channel协议-8.1 FC网络和8.2FC协议中七种端口类型-《大话存储》阅读笔记
康雨城
02-10 4335
8.1FC网络 Fibre Channel也就是网状通道，简称FC。也可以称为FC协议，FC网络、FC互联 注意：Fibre Channel不是Fiber Channel，后者是光纤通道与网状通道没有任何联系 ..
libfuse的一次探索尝试helloword
康雨城
10-09 1290
在学习文件系统的过程中，接触到了fuse，libfuse。因此自己决定跑着玩玩。 虽然就是玩玩，但还是踩了坑。这个坑本质在于操作系统的环境。我先后采用了：wsl的ubuntu、centos7、centos8，都以失败告终，最终在ubuntu20虚拟机中搞定。
【rbd 删除失败】rbd: error: image still has watchers
康雨城
05-06 1287
rbd 无法删除 PreRemoveRequest: check_image_watchers: image has watchers - not removing Removing image: 0% complete...failed. rbd: error: image still has watchers This means the image is still open or the client using it crashed.
虚拟机从暂停状态恢复后HEALTH_WARN，osds down
康雨城
05-06 1257
Long heartbeat ping times on front interface seen, longest is 8784.818 msec
hadoop-3.3.3完全分布式集群搭建
最新发布
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中。 3. 搭建hadoop集群：关闭防火墙，修改主机名，添加IP映射，配置免密登录。 4. 修改hadoop配置文件：解压hadoop，配置hadoop环境变量，修改hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers。 5. 分发文件：将配置好的hadoop文件分发到集群中的所有节点。 6. 格式化namenode：使用hadoop命令行工具格式化namenode。 7. 启动Hadoop集群并测试：启动hadoop集群，可以通过查看进程、访问web界面和运行官方案例WordCount来测试集群的运行情况。 通过以上步骤，就可以成功搭建hadoop-3.3.3的完全分布式集群。请根据实际需求和操作系统进行相应的调整和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

康雨城

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值