集群外部无法通过 NodePort 方式访问 Prometheus 的 Web UI

fragment~

已于 2024-08-23 00:29:26 修改

阅读量441

点赞数 5

文章标签： prometheus 云原生 kubelet linux k8s

于 2024-08-20 10:22:03 首次发布

本文链接：https://blog.csdn.net/fangment1/article/details/141349652

版权

在k8s中Prometheus 服务的 NodePort 已经正确配置，但集群外部无法通过 NodePort 方式访问 Prometheus 的 Web UI（集群使用了网络插件Calico）。

排查一：

在集群宿主机进行测试：

kubectl describe svc prometheus-k8s -n monitoring

从输出结果来看，服务 prometheus-k8s 已经正确配置了两个端口：一个是用于 Web 端口的 9090（NodePort 为 32148），另一个是用于重新加载 Web 端口的 8080（NodePort 为 31109）；

然后执行：

curl -L http://<node-ip>:<nodeport>

成功获取了Prometheus Web UI 的 HTML 页面。这表明集群内部可以通过 NodePort 访问 Prometheus 的 Web UI，可以排除 Prometheus Pod 和 Service 的基本配置问题，因为集群内部可以成功访问；

排查二：

尝试从集群的另一个一个节点使用 curl 直接访问 NodePort 服务，显示连接超时；这说明有可能是集群主机上的防火墙规则未允许外部流量到达 Prometheus 的 NodePort，需要手动添加规则以允许 TCP 流量通过端口。

解决方案一：

我的主机节点之前就已经把防火墙（firewalld）关了，需要重新开启，然后在开放防火墙端口：

########################
# master节点防火墙设置
########################

# 所有master节点开放相关防火墙端口
$ firewall-cmd --zone=public --add-port=6443/tcp --permanent
$ firewall-cmd --zone=public --add-port=2379-2380/tcp --permanent
$ firewall-cmd --zone=public --add-port=10250/tcp --permanent
$ firewall-cmd --zone=public --add-port=10251/tcp --permanent
$ firewall-cmd --zone=public --add-port=10252/tcp --permanent
$ firewall-cmd --zone=public --add-port=30000-32767/tcp --permanent

# 所有master节点必须开启firewalld该设置，否则dns无法解释
$ firewall-cmd --add-masquerade --permanent
$ firewall-cmd --reload
$ firewall-cmd --list-all --zone=public

########################
# worker节点防火墙设置
########################

# 所有worker节点开放相关防火墙端口
$ firewall-cmd --zone=public --add-port=10250/tcp --permanent
$ firewall-cmd --zone=public --add-port=30000-32767/tcp --permanent

# 所有worker节点必须开启firewalld该设置，否则dns无法解释
$ firewall-cmd --add-masquerade --permanent
$ firewall-cmd --reload
$ firewall-cmd --list-all --zone=public

# 所有节点清除iptables规则，解决firewalld引起nodeport无法访问问题
$ iptables -D INPUT -j REJECT --reject-with icmp-host-prohibited

测试端口连通性

完成防火墙规则的添加后，您可以使用 telnet 或 nc（netcat）来测试端口的连通性。这里以 telnet 为例：

telnet 127.0.0.1 端口号
telnet 127.0.0.1 端口号

如果端口是开放的，您应该会看到类似下面的输出：

Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
Connection closed by foreign host.

如果端口被拒绝连接，您会看到如下输出：

Trying 127.0.0.1...
telnet: Unable to connect to remote host: Connection refused

解决方案二：

不进行任何操作，当过段时间后，貌似又不能访问了，貌似是因为我将firewalld关闭了，然后就无法访问，但开启firewalld后似乎又可以访问了，询问通义千问后得到如下分析：

当关闭 firewalld 服务后，集群外部无法访问 Prometheus 的 Web UI，这可能是因为在默认情况下，即使 firewalld 被关闭，系统内核的防火墙规则仍然存在。这些规则可能会阻止特定端口的入站连接，从而导致从集群外部无法访问 Prometheus 的 Web UI。

分析问题

默认防火墙规则：
当 firewalld 关闭时，系统默认的防火墙规则仍然有效。这些规则可能会阻止某些端口的入站连接。
iptables 配置：
当关闭 firewalld 时，CentOS 会恢复到默认的 iptables 配置，这意味着默认情况下会阻止未明确开放的端口。
定时任务或脚本：
过了一段时间后又无法访问，这可能是由于某些定时任务或脚本导致的。这些任务或脚本可能在后台运行，并修改了 iptables 规则或重新配置了防火墙。

解决方案

1.检查 cron 任务：

可以检查是否有定时任务或脚本在后台运行，并修改了 iptables 规则或重新配置了防火墙。命令如下：

crontab -l

删除定时任务:

编辑 crontab 文件：
- 可以编辑 crontab 文件来删除上述定时任务。命令如下：
```
crontab -e
```
删除定时任务：
- 在打开的 crontab 文件中找到定时任务的行，将其删除或注释掉。例如：
```
# 5,15,25,35,45,55 * * * * /usr/sbin/iptables -D INPUT -j REJECT --reject-with icmp-host-prohibited
```
保存并退出：
- 保存文件并退出编辑器。如果使用的是 vi 或 vim，可以使用 :wq 命令保存并退出。

2. 使用 iptables 管理防火墙规则

检查 iptables 规则：
- 可以检查当前的 iptables 规则来确认是否有阻止外部访问的规则。命令如下：
```
sudo iptables -L -n -v
```
添加 iptables 规则：
- 如果找到了阻止外部访问的规则，您可以添加一条新的规则来允许外部访问端口 31654/tcp。命令如下：
```
sudo iptables -A INPUT -p tcp --dport 31654 -j ACCEPT
```
保存 iptables 规则：
- 为了让规则在系统重启后依然有效，需要保存这些规则。命令如下：
```
sudo iptables-save > /etc/sysconfig/iptables
```
重启 iptables 服务：
- 为了使更改生效，需要重启 iptables 服务。命令如下：
```
sudo systemctl restart iptables
```

3. 关闭 iptables

如果希望完全禁用 iptables 并依赖于 Calico 提供的安全策略，则可以按照以下步骤操作：

删除 iptables 规则：
- 删除所有 iptables 规则。命令如下：
```
sudo iptables -F
sudo iptables -X
```
验证 iptables 状态：
- 确认 iptables 已经没有任何规则。命令如下：
```
sudo iptables -L -n -v
```

注意事项

Calico 网络策略：
- 确认 Calico 是否正确配置了网络策略来允许外部访问集群内的服务。可以检查 Calico 的网络策略配置。
集群网络配置：
- 确认集群的网络配置是否允许从集群外部访问 NodePort 类型的服务。如果使用的是 Calico，请确保它支持从集群外部访问服务。
端口监听：
- 确认节点上是否监听了端口 31654。可以登录到节点并运行 netstat -an | grep 31654 来检查。
测试集群内部访问：
- 在集群内的一个 Pod 中运行以下命令来测试服务是否响应：
```
kubectl run -it --rm --image=busybox curl-test -- /bin/sh -c "curl http://
```

------------------分割线
第二天发现还是不行，去b站搜了一下，在某prometheus教程下的评论区发现一位大佬的评论，说是prometheus的网络策略有问题，因为只接受来自编辑prometheus自己的流量，要执行以下代码，然后又可以了：

kubectl -n monitoring delete networkpolicy --all

参考文章： 15.k8s集群防火墙配置_所有节点清除iptables规则,解决firewalld引起nodeport无法访问问题-CSDN博客