关于hadoop学习伪分布式安装等以及遇到的问题及解决办法

最新推荐文章于 2022-12-06 20:08:33 发布
VIP文章 最新推荐文章于 2022-12-06 20:08:33 发布
阅读量1.4k 收藏 7
点赞数 1
分类专栏： 笔记 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43344595/article/details/115146136
版权

一、介绍

本文首先介绍的是关于结合阿族在学习过程中遇到的问题解决办法，然后是安装的过程，qwq因为以前学linux的时候也没有认真听讲，就导致很多问题和错误，然后网上的很多解决办法和教程不一定适合每个人的情况和问题，但是在不断修改的过程也可以成长，再就是现在也有我自己遇到还没解决的问题。

二、错误

1、已解决的问题

①关于关于设置静态IIP没什么好说的，我放几张图，自己一阿族开始在配置的时候漏了好多点

要根据网络编辑器的信息填写静态的ip地址设置不同的节点的时候静态Ip设置的地址在dhcp的范围就好

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

②在连接Xshell的时候遇到无法连接的问题，输入密码后显示拒绝服务，或者就是连接失败

如果拒绝服务将用户名改成root用户在切换到普通用户具体原因不知道为什么有的时候会出现这种问题

在这里插入图片描述
单纯连接失败就禁用V8在重启

在这里插入图片描述

③关于解压安装包以后
最低0.47元/天 解锁文章
赤蓝基族长
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统CentOS 7 搭建Hadoop伪分布式环境遇到问题以及解决方法
雨打芭蕉的博客
04-03 856
今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境，也是入了很多坑，我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的，文章写得好，在此表示感谢！下面就在搭建Hadoop伪分布式环境中的坑做个记录，也希望可以帮助他人一起进步。1、bin、sbin目录不要搞错了在Linux根目录下面也有这两目录，配置完成后，执行 NameNode 的格式化时，要注意别...
# Hadoop安装(伪分布式)常见问题解决及Hadoop常用命令
weixin_41822745的博客
11-09 2244
Hadoop安装常见问题 一、权限不足问题 对于hadoop安装文件的权限不足会出现以下的错误 错误：Cannot create directory /usr/local/hadoop/hadoop-2.8.3/tmp/dfs/name/current 解决方法:sudo chmod -R a+w /usr/local/hadoop/hadoop-2.8.3 给与这个安装文件夹充足的权限，允许在这...
HADOOP 伪分布式官方安装方法过程中的问题
ddsszzy的专栏
01-28 3795
按照hadoop官方文档http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html，安装hadoop3.2.0伪分布式模式过程中出现的问题，记录如下： 一、 ERROR: JAVA_HOME is not set and could not be found 解决方法：had...
搭建hadoop平台时遇到的问题及解决方法
戴翔的技术博客
02-05 4411
笔者最近在搭建伪分布式hadoop平台的时候，遇到了一些问题，在解决了这些问题之后就将问题及解决方法记录了下来，以供参考。 出现的问题1 hadoop@daixiang-virtual-machine:/usr/local/hadoop/etc/hadoop$ start-dfs.sh Incorrect configuration: namenode address dfs.namenode
hadoop构建伪分布式环境时，可能的出错处理 比如8088打不开
weixin_39435629的博客
12-06 2466
基于本人写的hadoop伪分布式环境搭建讲解： 链接：https://blog.csdn.net/weixin_39435629/article/details/84841252 查错常用命令汇总： $>jps    (查看hadoop的启动进程) $>ps -ef | grep java (查看java中的进程） $>netstat -tnlp (查看启动运行的端口)...
搭建hadoop伪分布式集群环境过程中遇见的问题总结
xuexi_39的博客
10-11 3836
1、网络配置问题： 在centos7中配置网络环境后，本机（win10系统）与虚拟机centos7网络不通（本机可以ping通虚拟机，但是虚拟机ping不通本机）； 解决方式： 方式1：查看本机win10系统的防火墙是否关闭，若没有，直接关闭win10系统的防火墙即可； 方式2：修改本机配置：windows防火墙-高级设置-入站规则-虚拟机监控（回显请求-ICMPv4-Ln），把这项启用即...
Hadoop 伪分布式安装的问题
欢迎订阅 -- 小源笔迹
10-17 588
hadoop伪分布式的配置和其中的错误
大数据基础实验：配置伪分布式hadoop实验遇到的问题及解决办法
黄佳俊的博客
10-07 891
1、 问题：在更新apt的时候出现报错显示资源暂时不可用，说有其他进程在占用它 解决：查看当前所运行的进程（ps -A |grep apt），通过进程前边的id号把进程杀死(kill) 2、 问题：用sudo apt-get update出错：E: Problem executing scripts APT::Update::Post-Invoke-Success 解决：先remove libappstream3，再进行update，sudo apt-get update 3、 问题：由于把任
VMware首次安装Hadoop详细步骤：问题&解决方式
m0_59865073的博客
12-06 3128
VMware第一次安装配置hadoop出现的问题及解决方法
Linux下安装伪分布式hadoop，防火墙的关闭
qq_39900178的博客
11-21 1420
.修改linux ip  可以命令修改：vim /etc/sysconfig/network-scripts/ifcfg-eth0  最后这参数是不确定的 然后如下   将ONBOOT 改为yes 然后重启 reboot 修改主机名 hostname # 查看 vi /etc/sysc...
Hadoop的伪分布式安装
02-26
PieTTY可以很好地解决这个问题。该软件不需要安装，直接打开使用即可，如图1.1所示图1.1在HostName中输入Centos的ip地址，其余设置使用默认值，然后点击最下面的“Open”按钮，就会提示输入用户名和密码，我们需要...
hadoop2.7伪分布式安装方法及运行Helloword
06-06
网上博客有此链接，无需下载，可以点击链接
Hadoop伪分布式安装及配置参考步骤.docx
04-22
Linux上的Hadoop伪分布式安装及其相关配置步骤，以及Hadoop3种运行模式的相关知识。该文档摘自：http://public.bigdataedu.org/ ，仅供学习参考！
Hadoop单机伪分布式安装
03-20
Hadoop单机伪分布式安装
hadoop伪分布式配置及遇到的问题
01-12 4334
一、运行wordcount例子 在hadoop上新建目录，然后用put程序将linux中的文件input1.txt和input2.txt输入到hadoop文件系统中的/tmp/input/中   hadoopfs -mkdir /tmp/input hadoopfs -mkdir /tmp/output hadoopfs -put input1.txt /tmp/input/ hado
Linux下jdk的配置
qq_32279165的博客
12-09 384
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录我的环境一、JDK下载二、上传到Linux中三、解压文件四、环境变量的配置总结 我的环境 VMware® Workstation 15 Pro CentOS 6 64 位 一、JDK下载 jdk-8u271-linux-x64.tar.gz，地址：jdk下载选择相对应的操作系统以及需要的版本 二、上传到Linux中 使用Xftp 6，将下载好的jdk文件 jdk-8u271-linux-x64.tar.gz传输到/opt目录下 三
Hadoop伪分布式安装教程——踩坑经验以及顺利安装的方法
weixin_52135595的博客
08-29 3769
在上上篇安装Hadoop的教程里，到了伪分布式这一步，总是卡在启动这一步，数据节点不知道为什么就是权限不够开不了，要么就是进程占用，在杀死进程之后，整个Hadoop出现瘫痪。查遍全网的资料，都说要用chown给他777超级权限，但是我试了两天，发现这个方法似乎不太可行（个人看法），但是在之前linux中配置opencv时也遇到过类似问题，最后是使用root换源来解决的。所以我想用root用户来启动hdfs，查阅资料后发现可行，所以重装系统，开始实践。在实践之后，最后顺利启动节点。话不多说，上教程。.....
hadoop如何搭建伪分布式
liziLove_fengmi的博客
11-10 286
1. 准备干净的linux linux没有安装任何的软件并且没有进行过任何的操作。 2 关闭防火墙 通过命令service iptables sopt 来关闭防火墙 通过 chkconfig iptables off 来关闭开机自动启动防火墙 3 修改主机的hostname 进入 /etc/hosts 文件修改主机的hostname 4 设置静态ip地址 修改静态ip地址步骤： 先进入文...
hadoop伪分布式环境搭建，完整的详细步骤
热门推荐
m0_67401153的博客
04-18 1万+
hadoop伪分布式环境搭建，完整的详细步骤 一、搭建伪分布式本次实验环境： 1、VMware14 2、一台ubtuntu 18 64位 3、主机名位master 4、ip 地址：192.168.136.31 5、本次实验需要的安装包 二、 伪分布式搭建前的准备 1、 查看id 地址 ip addr 2、 关闭防火墙 命令来关闭防火墙 ufw disable 命令查看当前防火墙状态 ufw status 3、 修改主机名、 添加主机映射 hostnamectl set-hostname
hadoop 伪分布式安装
最新发布
05-25
伪分布式安装是在单台机器上模拟分布式的安装方式，适用于学习和测试Hadoop的初学者。以下是伪分布式安装的步骤： 1. 首先，需要下载Hadoop的安装包，并解压到本地的某个目录中。 2. 修改Hadoop的配置文件，主要包括以下几个文件： - core-site.xml：配置Hadoop的核心参数，如HDFS的名称节点地址、RPC端口等。 - hdfs-site.xml：配置HDFS的相关参数，如数据块大小、副本数量等。 - mapred-site.xml：配置MapReduce的相关参数，如JobTracker地址、TaskTracker数量等。 - yarn-site.xml：配置YARN的相关参数，如NodeManager地址、ResourceManager地址等。 3. 接着，需要创建Hadoop的数据目录和日志目录，并修改它们的权限： - mkdir -p /home/hadoop/data/hdfs/namenode - mkdir -p /home/hadoop/data/hdfs/datanode - mkdir -p /home/hadoop/logs/hdfs - chmod -R 777 /home/hadoop/data /home/hadoop/logs 4. 启动Hadoop的服务： - 启动HDFS：hadoop namenode -format && start-all.sh - 启动YARN：start-yarn.sh 5. 确认Hadoop的服务已经启动成功： - 使用jps命令查看Hadoop的进程：jps - 访问Hadoop的Web界面：http://localhost:50070/（HDFS）、http://localhost:8088/（YARN） 以上就是Hadoop伪分布式安装的步骤。需要注意的是，伪分布式安装只是为了模拟分布式环境，不能支持真正的分布式计算。如果需要在多台机器上运行Hadoop集群，需要进行完整的分布式安装。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值