![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 50
joey小天使
功夫震九州,不如一壶酒。
展开
-
在window上安装hadoop3.3.4
暑假不知道啥原因电脑死机啦。环境需要重新配一下首先需要配置Hadoop集群,但是为了代码调试方便需要先在Windows上配置Hadoop环境。原创 2023-08-31 21:03:26 · 709 阅读 · 0 评论 -
java.lang.Exception: java.io.IOException: Illegal partition for -1的解决方法
在hadoop处理的自定义分区代码中,本地跑没问题,放到阿里云的E-MapReduce集群中出现了如下错误:可以考到报错的是非法的分区号-1.默认的分区是非负数,而在我的代码中出现了-1.查看代码:确实容易出现-1的情况;修改代码问题解决!...原创 2022-03-24 09:54:46 · 2693 阅读 · 0 评论 -
在配置hadoop3.1.3中出现的错误DataNode不能启动
原因多次进行格式化导致各个节点之间的版本号不同,集群不能正常启动。当在NameNode中使用了格式化hdfs namenode -formar导致NameNode的版本号发生变化。当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹(这个文件夹为自己配置文件中dfs.name.dir的路径)中保存一个current/VERSION文件,记录clusterID,datanode中保存的current/VERSION文件中的clustre原创 2021-11-17 21:53:42 · 1523 阅读 · 0 评论 -
在配置hadoop3.1.3中出现的错误ERROR: Attempting to operate on yarn nodemanager as root ERROR
这个在开启hdfs和yarn服务时可能出现,在关闭使用脚本关闭hdfs和yarn服务时也有可能出现解决办法将start-dfs.sh,stop-dfs.sh(在hadoop安装目录的sbin里)两个文件顶部添加以下参数HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root将start-yarn.sh,stop-yarn.sh(在ha原创 2021-11-17 21:08:37 · 3333 阅读 · 0 评论