hadoop tyarn冲突_Doris与Hadoop yarn混合部署遇到的坑

Doris默认端口

Yarn 默认端口：

如图，端口冲突，在混合部署的情况下，会出现2个问题：

1. Yarn ResourceManager启动不起来

解决办法：修改yarn.resourcemanager.scheduler.address的端口，具体做法为：

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加或修改(如果已经配置了yarn.resourcemanager.scheduler.address，并保留原始端口),默认没有这个配置项的情况下，默认值为8030

yarn.resourcemanager.scheduler.address

palo253:8035

修改为系统中任意没有被占用的端口，目的是解决8030端口的冲突问题。

或者修改doris fe.conf配置，将http port修改为其他端口

2. 在解决了1之后，yarn可以正常启动，但是一旦运行mapreduce任务，会发现一直mr任务一直hung，没有任何进展，原因是modemanager启动失败

解决办法:

a) 修改yarn-site.xml,添加yarn.nodemanager.localizer.address配置，配置为与8040不同的端口

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

yarn.nodemanager.localizer.address

0.0.0.0:8046

b) 修改 doris be.conf,将webserver_port修改为其他端口