Hadoop集群塔建常见bug

已于 2022-10-09 13:56:28 修改
阅读量1.2k 收藏
点赞数 1
文章标签： hadoop bug
于 2022-10-09 00:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53905637/article/details/127202894
版权

1.WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.

解决方法：

在环境变量中加上HADOOP_HOME_DIR的路径（用到Hadoop的etc/hadoop目录就可以了）

export HADOOP_CONF_DIR=/home/hadoop22/software/hadoop/hadoop-3.1.3/etc/hadoop

 

2.WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration.
问题定位：hdfs-site.xml
问题原因：
不合规范的URI格式
解决办法：
把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式如/home/uers/hadoop/hdfs改成file:/home/uers/hadoop/hdfs

最低0.47元/天 解锁文章
30+11
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Hadoop集群下的并行克隆代码检测
10-17
克隆代码会导致项目的维护困难，削弱项目的健壮性，并且克隆代码中所包含的bug会破坏整个项目。当前克隆代码检测技术或者拘泥于只能检测少数几种克隆代码，或者需要极高的检测时间。而且如果需要检测大量的源代码，...
Hadoop启动错误：WARNING log4j.properties is not found. HADOOP_CONF_DIR may be incomplete
m0_67391683的博客
04-18 3853
搭建了个Hadoop HA集群，启动journalnode时出现警告：log4j.properties is not found. HADOOP_CONF_DIR may be incomplete.随后就启动失败了。 检查了etc/hadoop目录下的hadoop-env.sh，mapred-env.sh与yarn-env.sh下配置的HADOOP_CONF_DIR（我这里配置的值是export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop）。 把HADOOP_CONF_
Hadoop启动错误: log4j.properties is not found...core-site.xml not found的解决办法
jaysen1005的博客
03-05 9681
描述：在禁用CDH集群的Kerberos认证后，进行服务功能验证,查看HDFS文件系统时出现core-site.xml找不到错误 [root@utility ~]# hadoop fs -ls / WARNING: log4j.properties is not found. HADOOP_CONF_DIR may be incomplete. Exception in thread "mai...
hadoop启动错误：Path /XXX should be specified as a URI in configuration file
qq_22937011的博客
08-31 6713
hadoop启动出现问题： 2016-08-31 10:14:59,151 WARN org.apache.hadoop.hdfs.server.common.Util: Path /home/gsunis/hadoopData/hdfs/name should be specified as a URI in configuration files. Please update hdf
解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告
热门推荐
叶鹤的博客
09-26 4万+
解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable警告问题 先翻译:警告util.NativeCodeLoader：无法为您的平台加载本机Hadoop库…在适用的情况下使用内置的java类 这个警告实在是虽然可能没有什么阻挡使用Hadoop的 /但是它会在你启动Hadoop时候出现，还会在你输入每一个
安装和使用分布式HDFS系统在CentOS 8上进行文件上传操作
最新发布
Waldocsdn的博客
05-13 1055
如何在CentOS 8上面安装分布式HDFS系统，在HDFS系统上创建一个目录count，并上传一个txt文件该目录
hadoop-2.7.3.zip
05-29
本文件“hadoop-2.7.3.zip”是针对Hadoop集群的2.7.3版本，这个版本在Hadoop的发展历程中占有重要地位，因为它引入了许多改进和新特性。 首先，让我们了解一下Hadoop的核心组件。Hadoop主要由两个主要部分组成：...
hadoop winutils.exe运行文件
08-15
在生产环境中，推荐使用Linux集群来部署Hadoop。对于学习和测试目的，可以考虑使用如VirtualBox或VMware这样的虚拟机软件来模拟Linux环境，以获得更稳定的Hadoop体验。 总的来说，解决“缺少winutils.exe”的问题...
hadoop和jdk的压缩包
03-18
在Hadoop集群中，Zookeeper确保所有节点对共享资源的访问是有序且一致的，为Hadoop的稳定运行提供了保障。 现在转向JDK，即Java Development Kit。它是开发和运行Java应用程序的必备工具集。JDK包含了Java编译器、...
hadoop2.7.3+mahout0.9问题集
10-01
这包括JDK、Hadoop、Mahout的路径设置，以及Hadoop集群的配置文件（如core-site.xml、hdfs-site.xml和mapred-site.xml）中的相关参数。 3. **编译与构建**：在将Mahout库与Hadoop项目集成时，可能会遇到编译错误。...
hadoop-conf里面的配置文件
01-17
hadoop conf里面文件配置
Centos6.5 x64 安装hadoop2.2.0
m0_54861649的博客
04-29 359
规划: cloud01、cloud02 Namenode HA cloud03 YARN cloud04 ZK节点、Datanode 机器名 IP地址 进程 cloud01 192.168.1.201 jdk hadoop NameNode、DFSZKFailoverController cloud02 192.168.1.202 jdk hadoop NameNode、DFSZKFailoverController cloud03 192.168.1.203 jdk hadoop ResourceMa
HDFS+ MapReduce 数据处理与存储实验
zyw2002的博客
04-27 5130
文章目录实验二 ：HDFS+ MapReduce 数据处理与存储实验1. 实验目的2. 实验环境3. 实验内容3.1 HDFS部分3.1.1 上传文件3.1.2 下载文件3.1.3 显示文件信息3.1.4 显示目录信息3.1.5 删除文件3.1.6 移动文件3.2 MapReduce 部分3.2.0 Mapreduce 原理3.2.1 合并和去重3.2.1.1 编写Merge.java代码3.2.1.2 编译执行3.2.2 文件的排序3.2.2.1 编写Sort.java 代码3.2.2.2 编译执行
Hadoop安装踩坑总结
weixin_43818177的博客
07-10 434
Hadoop安装踩坑总结 配置文件搭配 切记按照格式来，否则他会有一个提醒你 [Fatal Error] hbase-site.xml:2:6: The processing instruction target matching "[xX][mM][lL]" is not allowed. 这时候只需要把相关的配置文件开头的空格删除即可。参考 切记那主机名更改，且与其他想换文件匹配 这个错误是因为我看的视频教学讲的是centos6在/etc/hosts更改即可，但是，centos7想改主机名得
HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常
an7800666的博客
05-09 355
生产上部署了HDFS 2.7.4，最近遇到了一些异常，记录下来备忘： 一、dfs.datanode.directoryscan.throttle.limit.ms.per.sec DataNode运行一段时间后，报如下异常： ERROR org.apache.hadoop.hdfs.server.datanode.DirectoryScanner: dfs.datanode.d...
Hadoop-3.3.0安装 Centos 8.2安装Hadoop-3.3.0 Hadoop-3.3.0安装指南
faceqq的博客
01-31 811
Centos 8 安装Hadoop 3.3.0 [root@iZuf61u64hvs1nquuaipy8Z /]# clear [root@iZuf61u64hvs1nquuaipy8Z i-data/]# git clone https://github.com/grondo/pdsh.git [root@iZuf61u64hvs1nquuaipy8Z i-data]# cd pdsh [root@iZuf61u64hvs1nquuaipy8Z pdsh]# ./bootstrap [root@iZuf6
The element type "xxx" must be terminated by the matching end-tag 解决
wobfei的博客
08-06 2万+
查看系统日志时，发现读取xml 流时抛出了“The element type "description" must be terminated by the matching end-tag "</description>". Nested exception”错误。   查看对应url的流内容，如下 <?xml version="1.0" encoding="gb231...
hadoop常见错误及解决
fantasydreams的专栏
06-15 5472
WARN org.apache.hadoop.hdfs.server.common.Util: Path /usr/mywind/name should be specified as a URI in configuration files. Please update hdfs configuration. 问题定位：hdfs-site.xml 问题原因： 1) 不合规范的URI格式
eclipse链接hadoop集群报错
u011357712的专栏
04-10 653
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform 据说这个警告是因为电脑的操作系统是64位的 ERROR security.UserGroupInformation: PriviledgedActionException as:User cause:java.io.IOE
在ubuntu13.10环境中配置hadoop.docx
02-21
在ubuntu13.10环境中配置hadoop

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

30+11

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值