Ubuntu虚拟机搭建HDFS时常遇到的问题及相关解决办法

最新推荐文章于 2023-02-08 12:05:50 发布
最新推荐文章于 2023-02-08 12:05:50 发布
阅读量914 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014651098/article/details/24780253
版权
本文总结了在Ubuntu虚拟机上搭建Hadoop分布式文件系统(HDFS)时可能遇到的问题，包括配置文件错误、进程同步、主机名绑定、密钥登录和JAVA_HOME路径设置等，并提供了相应的解决办法。
摘要由CSDN通过智能技术生成 
Ubuntu虚拟机搭建HDFS时常遇到的问题及相关解决办法

我通关学习搭建hadoop节点集群时，遇到的各种问题有一个简短的总结。相信这会是很多跟我一样，刚刚接触或者学习hadoop的朋友们会在学习的过程中经常碰到的问题。希望一下的总结能够对大家的学习有所帮助。

以下所有的问题都会导致你的分布式系统报错或者进程缺失。

第一：在/hadoop-1.2.1/conf/文件下，进行分布式文件配置时，core-site.xml、hdfs-site.xml、mapred-site.xml格式一定要一一核对，确保正确。哪怕就是头文件的书写也一样。

解决办法：配置好master机器上的文件后，要检查一遍，一定要把不相关的空格删除，否则集群启动时会直接报错。你找都找不哪里出了问题。最好是头文件不要删除、把需要添加的内容复制进去就行了

最低0.47元/天 解锁文章
十三月下
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop启动报错:there is no HDFS_NAMENODE_USER defined_Error JAVA_HOME is not set and could not be found
添柴程序猿的专栏
02-24 1302
纯手动搭建hadoop3.x集群记录004_群起集群并测试_解决启动中问题_并补充Linux环境---大数据之Hadoop3.x工作笔记0167。在JAVA_HOME的地方,这里指定jdk的位置就可以了,安装在哪里就指定哪里。/usr/bin/env bash 放到头部的这个下面就可以了。这几个文件在hadoop根目录的sbin目录下,然后要记得.要不然不生效,实际上这就是声明了这几个变量,放最后不生效.去编辑 vim hadoop-env.sh这个文件。这两个配置要配置在配置文件开头的位置.
Ubuntu配置伪分布式hadoop时报错：localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够...
weixin_30354675的博客
05-09 3871
博主在Ubuntu上搭建伪分布式环境时，遇到： 　　启动namenode和datanode进程时，输入：./sbin/start-dfs.sh 时： 　　会报错，仔细看后，错误原因是： 　　localhost: mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够 经过多次查找资料和环境检查，最终找到了解决方法： 输入指令： 　　s...
hdfs创建文件报错 mkdir: Cannot create directory /Flink. Name node is in safe mode.
weixin_46144832的博客
07-22 872
原文链接https//blog.csdn.net/weixin_44393345/article/details/106253529。版权声明本文为CSDN博主「十一师兄」的原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接及本声明。据资料是说hdfs刚刚启动，还在验证和适配，所以进入安全模式，等一会儿就好了，然后我等了几分钟并没有好。get-返回安全模式是否开启的信息。wait-等待，一直到安全模式结束。enter-进入安全模式。...
hdfs创建目录（报错）-mkdir: java.net.UnknownHostException: ns1
qq_57332751的博客
01-01 617
[root@master hadoop]# hdfs dfs -mkdir /io -mkdir: java.net.UnknownHostException: ns1 Usage:hadoop fs [generic options] -mkdir [-p] <path> ... 报错 检查hdfs-site.xml中 <property> <name>dfs.ha.automatic-failover.enabled</name&g...
Hadoop URL中读取数据出错：unknown protocol: hdfs
weixin_34015860的博客
10-25 780
为什么80%的码农都做不了架构师？>>> ...
unknown protocol: hdfs
qq_36291682的博客
05-14 5576
URL默认不支持hdfs  import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());  然后再使用 URL url2=new URL("hdfs://192.168.66.8:9000"); 就可
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
用虚拟机在ubuntu上搭建hadoop平台的单机模式
08-03
该文档可以帮助您完美地搭建hadoop平台的单机模式
Hadoop虚拟机搭建Hadoop-3.3.0集群环境
06-07
在实际操作过程中，可能会遇到网络问题、权限问题或配置错误等挑战，需要耐心调试。同时，为了方便管理和监控，还可以考虑安装Ambari等管理工具，它能提供图形化的界面，简化集群的部署和运维。 总之，搭建Hadoop...
虚拟机与Linu系统安装以及云计算平台的搭建及安装.docx
11-23
【云计算cs】虚拟机与Linux系统的安装以及云计算平台的搭建涉及多个知识点，下面将详细讲解。 首先，虚拟机的建立是云计算平台搭建的基础。虚拟机技术允许我们在一台物理主机上模拟运行多台独立的计算机系统，例如...
虚拟机与Linu系统安装以及云计算平台的搭建及安装.pdf
11-23
本文主要涉及了三个关键领域：虚拟机的使用、Linux系统的安装与配置、以及云计算平台（尤其是Hadoop）的搭建。我们将逐一详细阐述这些知识点。 1. 虚拟机的建立与Linux系统安装： 虚拟机是一种在物理计算机上模拟...
Hadoop安装和虚拟机的创建遇到的常见错误与解决。
h2401379074的博客
06-19 1211
（1）：Hadoop安全模式异常。 报错：mkdir:Cannot create directory /one.Name node is in safe mode. 原因：Hadop处于安全状态。 解决：bin/hadop dfsadmin-safedode leave(离开安全模式）。 （2）：Hadoop大数据群集俩个Master 均为standby状态。 报错：Operation category READ is not supported in state standby. 原因：Hadoop 集群
由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。问题解决
huangpixu的博客
07-09 7481
在Windows系统python操作虚拟机ubuntu系统中的hdfs时，出现了下面这个问题 其实之前已经出现过一次了，解决了之后，现在是换了一个网络状态下又出现了，因为ip变了。 解决方法： 找到这个路径C:\Windows\System32\drivers\etc下的hosts 用记事本打开，在末尾加上ubuntu系统的IP和ubuntu主机名，ip变了就要加上新的ip 主机名就是下图红框的名字,@符号后面的英文 修改保存之后，重新运行python项目，就没有报错了 ...
VM虚拟机中HDFS 命令
qq_52721612的博客
02-08 1867
VM虚拟机中HDFS 命令
本机无法访问虚拟机hdfs文件系统
夏目三三
12-05 1806
1.首先查看虚拟机hadoop是否已经启动服务 2.查看虚拟机防火墙是否开启 systemctl status iptables 如果如下，需要先关闭防火墙： systemctl stop iptables 此时再看状态： 接下来就可以访问，ip:8088 、 ip:50070 、ip:50090 。 但是将ip替换成hostname，还是会失败，此时需要再本机的/etc/hosts 文...
Hadoop无法进行hdfs的问题[已解决]
欢迎光临~
12-02 3254
很久没打开集群，上课需要连接时start-all.sh后，显示连接被拒绝（忘记截图了，报错信息是这样） ls: Call From hadoop01/192.168.60.128 to hadoop01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
HDFS 常见的异常处理方式汇总
Shockang的博客
06-20 2167
Hadoop 由众多模块组成，哪一个出错，都会导致 Hadoop 整个系统出现异常。下面介绍下常见的 Hadoop 异常处理（不定期更新）。NameNode 被重新格式化，DataNode 数据版本与 NameNode 不一致。磁盘损坏。更换硬盘。文件确实不存在，或者是权限问题导致数据没有正确地写入Hiv的读取路径。设置 或设置 Hive 读取路径正确的可写权限。之前用错误账户启动 Hadoop,导...
2021-06-24
Serious510的博客
06-24 366
大数据原理出错 配置完虚拟机上的操作忘记重启虚拟机导致不能和xshell连接 之前那种错误的状态没有退出，无法对文件进行压缩 环境变量没有搭建好，在选择执行命令的时候系统无法找到hdfs这个命令。解决方法通过PATH环境变量来调用，或者使用绝对路径去进入文件夹。 没有使用管理员身份进行 在安装虚拟机时，第一遍安装过之后，所使用的光驱需要移除，不然会一直显示已安装，是否需要重新安装。 在已经输入过双向拖拽的代码之后，还是无法将主机上的文件或者复制粘贴拖拉进虚拟机可能是在虚拟机内部的设备框没有开启共享文件夹
记一次本机使用 Java API 读取虚拟机 HDFS 文件出错：Could not obtain block…
Simon的博客
12-14 4577
记一次本机使用 Java API 读取虚拟机 HDFS 文件出错：Could not obtain block… 背景 虚拟机安装 Hadoop 3.1.3，并运行了 HDFS。 使用本机 Java API 读取文件出错，在虚拟机中正常。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fzUj8BKs-1639462803170)(file:///Users/simonmao/Library/Mobile%20Documents/comappleCloudDocs/Cra
ubuntu虚拟机搭建分布式机器学习平台
最新发布
06-12
在Ubuntu虚拟机上搭建分布式机器学习平台，需要以下步骤： 1. 安装分布式文件系统：Hadoop HDFS是一个开源的分布式文件系统，可以存储海量数据，并且支持高可靠性和高可扩展性。可以通过以下命令安装： ``` sudo ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值