该文参考文章,其中又遇到一些问题,并解决,当前主要为了记录一下
探针 Grafana + Prometheus 之比 Docker 更简单的部署流程 - 承飞之咎本文重在 Grafana + Prometheus 探针 方案的部署流程,介绍和更多使用请到:探针 ̵…https://blog.vfly2.com/2023/07/a-simpler-deployment-process-of-the-probe-grafana-prometheus-compared-to-docker/两种方式进行,第一种只需要几行命令即可,需要外网支持,网络环境比较好建议使用。第二种打开github就可以
一、第一种方式
一键安装 Prometheus
wget -qO- 'https://raw.githubusercontent.com/AhFeil/bash-script/main/install-prometheus.sh' | sudo bash
若运行结束后,出现 active (running) ,则安装成功。
通过 http://ip_addr:9090
访问 Prometheus Web 界面和仪表板。如果访问不到,请看下面我的问题第四部分---解决部分。
sudo ufw allow from 监控服务器IP to any port 9100 comment 'node_exporter'
记得修改 IP
一键安装 Node Exporter
wget -qO- 'https://raw.githubusercontent.com/AhFeil/bash-script/main/install-node_exporter.sh' | sudo bash
若运行结束后,出现 active (running) ,则安装成功。
脚本中设置了开机自启动等。基本上就配置好 准备采集服务器数据的环境。直接跳到第三部分:配置界面
二、第二种方式
安装 Prometheus,下载地址:Download | Prometheus
# 获取 Prometheus 最新版本
github_project="prometheus/prometheus"
tag=$(wget -qO- -t1 -T2 "https://api.github.com/repos/${github_project}/releases/latest" | grep "tag_name" | head -n 1 | awk -F ":" '{print $2}' | sed 's/\"//g;s/,//g;s/ //g')
# echo ${tag}
# tag2=${tag#*v}
# 下载 Prometheus 最新版本并解压
wget https://github.com/prometheus/prometheus/releases/download/${tag}/prometheus-${tag#*v}.linux-amd64.tar.gz && \
tar xvfz prometheus-*.tar.gz && \
rm prometheus-*.tar.gz && cd prometheus-*.linux-amd64
# 将 Prometheus 可执行文件放入通用的系统目录下
sudo mv prometheus promtool /usr/local/bin/
# /etc/prometheus 放Prometheus配置文件。 /var/lib/prometheus 存应用程序数据
sudo mkdir -p /etc/prometheus /var/lib/prometheus && \
sudo mv prometheus.yml /etc/prometheus/prometheus.yml
sudo mv consoles/ console_libraries/ /etc/prometheus/
# 清理
cd .. && rm -r prometheus-*.linux-amd64
wget下载不下来时,查看请求路径,在文中下载下来后,传在服务器。执行命令基本不变,有些删除命令可以不执行。
使用以下命令验证 Prometheus 是否已成功安装:
prometheus --version
创建一个系统用户 prometheus
sudo useradd -rs /bin/false prometheus
所有权分配
sudo chown -R prometheus: /etc/prometheus /var/lib/prometheus
使用 systemd
守护进程,它能实现程序的后台运行、开机自启、崩溃重启等。
创建 prometheus.service
文件:
sudo vim /etc/systemd/system/prometheus.service
编辑内容
[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target
[Service]
User=prometheus
Group=prometheus
Type=simple
Restart=on-failure
RestartSec=5s
ExecStart=/usr/local/bin/prometheus \
--config.file /etc/prometheus/prometheus.yml \
--storage.tsdb.path /var/lib/prometheus/ \
--web.console.templates=/etc/prometheus/consoles \
--web.console.libraries=/etc/prometheus/console_libraries \
--web.listen-address=0.0.0.0:9090 \
--web.enable-lifecycle \
--log.level=info
[Install]
WantedBy=multi-user.target
说明:
ExecStart
:就是在终端时开启程序的命令,只不过要用绝对路径。config.file
将 Prometheus 配置文件的位置为/etc/prometheus/prometheus.yml
。storage.tsdb.path
告诉 Prometheus 将程序数据存储在/var/lib/prometheus/
中。web.listen-address
设置为0.0.0.0:9090
,允许 Prometheus 侦听所有网络接口上的连接。web.enable-lifecycle
选项允许用户在不重新启动Prometheus的情况下重新加载配置文件。
重新加载 systemctl
守护进程。
sudo systemctl daemon-reload
设置开机自启,并立即启动运行
sudo systemctl enable --now prometheus
查看状态
sudo systemctl status prometheus
sudo systemctl start prometheus
如果 prometheus
服务无法正常启动,请运行命令 journalctl -u prometheus -f --no-pager
并检查输出是否有错误。
通过 http://ip_addr:9090
访问 Prometheus Web 界面和仪表板。将 ip_addr
替换为监控服务器的地址。
进入网页后,由于 Prometheus 使用的是默认配置文件,因此还没显示太多信息。
默认的 prometheus.yml
文件包含用于抓取本地主机的指令。到【Status】-【Targets】可以看见所有目标。 目前应该只有本地 Prometheus 一个目标。
安装Node Exporter
在客户端上安装 Node Exporter ,再将客户端添加到 prometheus.yml
中服务器列表中就能监控。其统计信息收集可在端口 9100
上获得。该端口可通过互联网访问,任何在其他地方运行 Prometheus 的人都可以收集它们。
因此,使用防火墙限制仅监控服务器可以访问:
sudo ufw allow from 监控服务器IP to any port 9100 comment 'node_exporter'
# 获取 Prometheus 最新版本
github_project="prometheus/node_exporter"
tag=$(wget -qO- -t1 -T2 "https://api.github.com/repos/${github_project}/releases/latest" | grep "tag_name" | head -n 1 | awk -F ":" '{print $2}' | sed 's/\"//g;s/,//g;s/ //g')
echo ${tag}
echo ${tag#*v}
wget https://github.com/prometheus/node_exporter/releases/download/${tag}/node_exporter-${tag#*v}.linux-amd64.tar.gz && \
tar xvfz node_exporter-*.tar.gz && \
rm node_exporter-*.tar.gz
sudo mv node_exporter-*.linux-amd64/node_exporter /usr/local/bin
rm -r node_exporter-*.linux-amd64*
wget下载不下来时,查看请求路径,在文中下载下来后,传在服务器。执行命令基本不变,有些删除命令可以不执行。
将 Node Exporter 作为服务运行会更方便。首先创建一个 node_exporter
用户。
sudo useradd -rs /bin/false node_exporter
创建一个服务文件 node_exporter.service
供 systemctl
使用。
sudo vim /etc/systemd/system/node_exporter.service
[Unit]
Description=Node Exporter
Wants=network-online.target
After=network-online.target
[Service]
User=node_exporter
Group=node_exporter
Type=simple
Restart=on-failure
RestartSec=5s
ExecStart=/usr/local/bin/node_exporter
[Install]
WantedBy=multi-user.target
sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
sudo systemctl status node_exporter
sudo systemctl restart node_exporter
如果前面没设置只能由监控服务器访问,可以使用浏览器访问客户端节点的 9100
端口,例如 http://ip_addr:9100
。
将显示标题为 Node Exporter
的页面以及读取 Metrics
的链接。单击 Metrics
链接并确认正在收集统计信息。有关各种统计信息的详细说明,请参阅文档。
配置 Prometheus 监控客户端节点
在运行Prometheus的监控服务器上,打开 prometheus.yml
进行编辑。
sudo vim /etc/prometheus/prometheus.yml
在 prometheus
作业下方,添加第二个作业,其 job_name
为 remote_collector
。包括以下信息。
- 设置抓取时间间隔:
scrape_interval: 10s
- 添加要监控的 IP 和 端口号
:9100
,使用逗号分隔每个条目。 - 要启用对本地服务器的监视,请将
localhost:9100
条目添加到列表中,并在本地安装 Node Exporter。
...
- job_name: "remote_collector"
scrape_interval: 10s
static_configs:
- targets: ["remote_addr_IP:9100", "remote_addr_IP:9100"]
立即刷新 Prometheus,
sudo systemctl restart prometheus
使用 Web 浏览器重新访问监控服务器上端口 9090
的 Prometheus Web 门户。选择【Status】-【Targets】。将显示 remote_collector
作业的第二个链接,指向客户端上的端口 9100
。单击链接查看统计数据。
第三步: 安装 Grafana服务器,配置界面
Grafana 提供了查看 Prometheus 收集的统计信息的界面。在运行 Prometheus 的同一服务器上安装 Grafana 并将 Prometheus 添加为数据源。
1. 安装一些必需的实用程序
sudo apt-get install -y apt-transport-https software-properties-common
2. 导入密钥
sudo wget -q -O /usr/share/keyrings/grafana.key https://apt.grafana.com/gpg.key
3. 添加稳定版本
echo "deb [signed-by=/usr/share/keyrings/grafana.key] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
4.安装开源版本
sudo apt-get update && sudo apt-get install grafana
要安装 Grafana 企业版,请使用命令 sudo apt-get install grafana-enterprise
。
重新加载 systemctl守护进程
sudo systemctl daemon-reload
sudo systemctl enable --now grafana-server.service
sudo systemctl status grafana-server
sudo systemctl start grafana-server
关联 Grafana 和 Prometheus
所有系统组件现已安装,但 Grafana 和 Prometheus 尚未关联。剩下的可以使用 Grafana Web 界面完成。
要集成 Grafana 和 Prometheus,请按照以下步骤操作:
- 浏览器访问监控服务器的
3000
端口。例如,输入http://ip_addr:3000
,将ip_addr
替换为实际 IP 地址。 - Grafana 显示登录页面。使用用户名和默认密码 都是
admin
。当出现提示时,将密码更改为更安全的值。 - 成功更改密码后,Grafana 将显示 Grafana 仪表板。
- 要将 Prometheus 添加为数据源,请单击齿轮符号(代表配置),然后选择数据源。
- 对于本地 Prometheus 源,将 URL 设置为
http://remoteIP:9090
。大多数其他设置可以保留默认值。
导入 Grafana 仪表板
可以创建自定义仪表板。然而,Prometheus 已经创建了一个仪表板来支持 Node Exporter,名为 Node Exporter Full
,下面是导入的流程。
要创建自定义仪表板,请单击仪表板按钮,该按钮类似于四个正方形。然后选择+新建仪表板。有关更多信息,请参阅 Grafana 构建仪表板指南。
- 访问 Grafana 仪表板库: https://grafana.com/grafana/dashboards/。输入
Node exporter
作为搜索词。 - 选择
Node Exporter Full
条目。 - 右下角查看 ID 号。该板的 ID 当前为
1860
。 - 返回 Grafana 仪表板。选择由四个正方形组成的仪表板图标,
2. 右边【New】-【Import】。
3. 然后在 【Import via grafana.com】, 输入上一步中的 ID 1860
。然后选择【Load】
4. 在下一个屏幕确认导入详细信息。选择 Prometheus
作为数据源,然后单击【Import】按钮。
5. Node Exporter Full
仪表板立即生效。它显示客户端节点的性能指标和状态,包括内存、RAM 和 CPU 详细信息。
这里可以配置多个服务器监控地址,配置多个数据源。
四、问题解决
新装的机器往往防火墙将端口关闭,
1.允许特定端口的传入连接:
假设您要允许访问的端口是 8080,可以使用以下命令:
sudo iptables -A INPUT -p tcp --dport 8080 -j ACCEPT
2.如果您想允许任何主机连接到该端口,可以将源 IP 地址指定为 0.0.0.0/0
:
sudo iptables -A INPUT -p tcp --dport 8080 -s 0.0.0.0/0 -j ACCEPT
这将允许来自任何 IP 地址的 TCP 流量通过指定的端口。
3.保存 iptables 规则:
如果您使用的是某些 Linux 发行版,您可能需要保存 iptables 规则以确保它们在系统重启后仍然生效。这可以通过以下命令之一完成:
sudo service iptables save # 对于一些系统
sudo iptables-save > /etc/sysconfig/iptables # 对于一些系统
4.验证规则:
您可以使用以下命令验证当前 iptables 规则
sudo iptables -L -n