大数据环境配置

最新推荐文章于 2024-04-28 17:25:50 发布

zhhu

最新推荐文章于 2024-04-28 17:25:50 发布

阅读量422

点赞数

分类专栏： BigData 文章标签： hadoop spark 环境配置

本文链接：https://blog.csdn.net/Ahead_J/article/details/90183744

版权

在配置大数据环境的过程中，遇到了一些问题，包括nginx启动时的错误，涉及IP解析；主节点上的jdk在克隆到从节点后不可用；zookeeper虽然可以启动，但无法查看状态，日志显示主机路由不可达。这些问题的解决方案可能涉及到配置文件的修正、jdk的重新安装以及防火墙的关闭。参考链接提供了hadoop安装、jdk删除及centos7防火墙关闭的指南。

摘要由CSDN通过智能技术生成

1. 启动nginx时报错，错误提示如下

nginx: [emerg] invalid port in resolver "fe80::21c:42ff:fe00:18%eth0" in /usr/local/nginx/conf/nginx.conf:123

vim /etc/resolv.conf
得到
# Generated by NetworkManager
search localdomain
nameserver 10.211.55.1
nameserver fe80::21c:42ff:fe00:18%eth0
将最后一行注释

cat /etc/resolv.conf
得到
# Generated by NetworkManager
search localdomain
nameserver 10.211.55.1
# nameserver fe80::21c:42ff:fe00:18%eth0

2. 主节点上jdk可用，做快照克隆后，从节点上jdk不可用

# 删除原有的jdk
yum -y remove java-1.7.0-openjdk*
yum -y remove java-1.8.0-openjdk*
# 从官网下载jdk，我下载的是jdk-7u80-linux-x64.tar.gz
# 先创建/usr/java目录
# 然后解压jdk
tar -xzvf jdk-7u80-linux-x64.tar.gz -C /usr/java
vi /etc/profile
# 在末尾添加如下内容
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
# 对每个jdk不能正常使用的主