![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 86
_ZestyJt
这个作者很懒,什么都没留下…
展开
-
使用jdk17 搭建Hadoop3.3.5和Spark3.3.2 on Yarn集群模式
把**.pub**文件打开,复制出里面的内容,把内容复制到一个临时的txt中,我复制到了windows桌面的一个文件里。现在,四台虚拟机已经都安装了Spark,并且环境变量已经配置成功,下面就是启动Spark了。至此,一台虚拟机的spark配置完毕,接下来配置其他虚拟器,过程与该虚拟机配置过程一致。这里我使用的是Centos8.5,虚拟机外存20G,内存4G,我安装的是带桌面版的。此时直接进来了,说明互信成功,接下来退出去,与其他虚拟机互信,自己与自己也互信一次。原创 2023-04-12 21:10:45 · 3508 阅读 · 1 评论 -
解决集群部署Hadoop 启动后没有ResourceManager问题
解决集群部署Hadoop 启动后没有ResourceManager问题,java.lang.reflect.InaccessibleObjectException异常原创 2023-03-18 11:38:35 · 12220 阅读 · 7 评论 -
解决 Application xxx failed 2 times due to AM Container for xxx exited with exitCode: 13 问题
出现问题要首先检查hostname是不是与hadoop、spark配置的一致,不要想当然的认为是一样的,先检查一下最基础的,如果还是不能解决,就要在网上搜索一下了,通常情况下,问题产生的原因都是因为忽略了某个地方的小细节。原创 2023-03-21 18:02:12 · 7536 阅读 · 1 评论