部署PROMETHEUS+Grafana

最新推荐文章于 2024-09-13 14:10:55 发布
最新推荐文章于 2024-09-13 14:10:55 发布
阅读量269 收藏
点赞数
分类专栏： 我的运维笔记 监控相关 文章标签： prometheus grafana pushgateway node_exporter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangshui898/article/details/114797662
版权

部署PROMETHEUS

下载安装

下载地址

https://prometheus.io/download/

创建prometheus用户

useradd prometheus -s /sbin/nologin

创建prometheus数据目录

mkdir /data/prometheus
chown prometheus.prometheus /data/prometheus

解压部署

tar -zxf prometheus-2.25.0.linux-amd64.tar.gz
mv prometheus-2.25.0.linux-amd64 /usr/local/prometheus

配置文件

vim /usr/local/prometheus/prometheus.yml

# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.2.150:9090']
  
  - job_name: 'node'
    static_configs:
    - targets:
        - '192.168.2.151:9100'
        - '192.168.2.152:9100'

配置文件说明

scrape_interval				抓取数据时间间隔
evaluation_interval			报警阈值检测频率

配置service启动文件

cat > /usr/lib/systemd/system/prometheus.service << 'EOF'
[Unit]
Description=Prometheus
After=network.target

[Service]
Type=simple
Environment="GOMAXPROCS=4"
User=prometheus
Group=prometheus
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
ExecStart=/usr/local/prometheus/prometheus \
  --config.file=/usr/local/prometheus/prometheus.yml \
  --storage.tsdb.path=/data/prometheus \
  --storage.tsdb.retention=30d \
  --web.console.libraries=/usr/local/prometheus/console_libraries \
  --web.console.templates=/usr/local/prometheus/consoles \
  --web.listen-address=0.0.0.0:9090 \
  --web.read-timeout=5m \
  --web.max-connections=10 \
  --query.max-concurrency=20 \
  --query.timeout=2m \
  --web.enable-lifecycle
PrivateTmp=true
PrivateDevices=true
ProtectHome=true
NoNewPrivileges=true
LimitNOFILE=infinity
ReadWriteDirectories=/data/prometheus
ProtectSystem=full

SyslogIdentifier=prometheus
Restart=always

[Install]
WantedBy=multi-user.target
EOF

启动参数说明

web.read-timeout		请求连接等待最大时间(防止太多空链接占用资源)
web.max-connections		最大连接数(获取数据源时候建立最大连接数限制,避免连接数太多资源浪费)
storage.tsdb.retention	监控数据保存时长(企业级一般15为宜)
storage.tsdb.path		监控数据保存路径(如果不设置,默认存在监控当前路径)
query.timeout			针对用户-强行终止太庞大的慢查询
query.max-concurrency	针对用户-访问连接数限制

启动prometheus

systemctl daemon-reload
systemctl start prometheus
systemctl enable prometheus

命令行启动方式

/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus --storage.tsdb.retention=30d --web.console.libraries=/usr/local/prometheus/console_libraries --web.console.templates=/usr/local/prometheus/consoles --web.listen-address=0.0.0.0:9090 --web.read-timeout=5m --web.max-connections=10 --query.max-concurrency=20 --query.timeout=2m --web.enable-lifecycle

node-exporter

https://prometheus.io/

解压部署

tar -zxf node_exporter-1.1.2.linux-amd64.tar.gz
mv node_exporter-1.1.2.linux-amd64 /usr/local/node_exporter

配置service启动文件

cat > /usr/lib/systemd/system/node-exporter.service << 'EOF'
[Unit]
Description=This is prometheus node exporter
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/node_exporter/node_exporter
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

启动exporter

systemctl daemon-reload
systemctl start node-exporte
systemctl enable node-exporter

相关计算方法

几种数据类型

counter: 持续增长的数值,比如CPU使用时间,开机时间累计,访问量累计

gauge: 无规律数值,比如实时抓取的带宽,访问量

几个常用函数

  • rate()函数

    rate()函数是专门搭配counter类型数据使用的函数,它的功能是按照设置一个时间段,取counter在这个时间段内平均每秒的增量

    rate(node_cpu_seconds_total{mode="user"}[5m])

  • increase()函数

    用来针对counter这种持续增长的数值,截取其中一段时间的增量总量

    increase(node_cpu[1m])

rate()函数和increase()函数区别

rate()				一段时间内每秒的增量
increase()        	一段时间内增量总量

应用场景

rate()				采集频率高
increase()			采集频率低

  • sum()函数

    外面套用一个sum函数就可以把里面所有数值加和

    • by (instance)

      联合sum()函数使用,在函数加上,已主机名进行拆分

sum(increase(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)

instance是按机器名拆分,也可以by (cluster_name)

node_exporter只能按机器名去拆分

如果需要用cluster_name来拆分,需要自定义标签

  • topk()函数

    定义取前几位最高值

topk(3.count_netstat_wait_connections)

topk()函数即可以用于gauge类型数值,也可以用户counter类型数值(但外层需要包裹rate等函数,才有意义)

node_exporter采集示例:

计算CPU使用率

(1-((sum(increase(node_cpu_seconds_total{mode="idle"}[5m])) by (instance))/ (sum(increase(node_cpu_seconds_total[5m])) by (instance))))*100

命令解析:

node_cpu_seconds_total			cpu使用率
mode="idle"						cpu空闲模式
by (instance)					按主机名拆分
命令翻译:
(1-(所有cpu空闲使用率综合)/(所有cpu总使用率总和))*100

计算磁盘IO等待占用CPU百分比

((sum(increase(node_cpu_seconds_total{mode="iowait"}[5m])) by (instance))/(sum(increase(node_cpu_seconds_total[5m])) by (instance)))*100

pushgateway

下载

https://prometheus.io/

解压部署

tar -zxf pushgateway-1.4.0.linux-amd64.tar.gz
mv pushgateway-1.4.0.linux-amd64 /usr/local/pushgateway

配置service启动文件

cat > /usr/lib/systemd/system/pushgateway.service << 'EOF'
[Unit]
Description=This is prometheus pushgateway
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/pushgateway/pushgateway
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

启动pushgateway

systemctl daemon-reload
systemctl start pushgateway
systemctl enable pushgateway

脚本样例

#!/bin/bash
instance_name=`hostname -f|cut -d'.' -f1`

if [ ${instance_name} == "localhost" ];then
        echo "Must FQDN hostname"
        exit 1;
fi

label="count_netstat_wait_connections"
count_netstat_wait_connections=`netstat -antp|grep -i wait |wc -l`
echo "$label: ${count_netstat_wait_connections}"
echo "$label ${count_netstat_wait_connections}"| curl --data-binary @- http://192.168.2.150:9091/metrics/job/pushgateway1/instance/${instance_name}

prometheus.yml配置pushgateway

  - job_name: 'pushgateway'
    static_configs:
    - targets:
        - '192.168.2.150:9091'

部署Grafana

下载地址

https://grafana.com/grafana/download

解压安装

tar -zxf grafana-7.4.3.linux-amd64.tar.gz
mv grafana-7.4.3 /usr/local/grafana

配置grafana配置文件

cd /usr/local/grafana/conf; cp defaults.ini grafana.ini

创建对应目录

mkdir -pv /data/grafana/data
mkdir -pv /data/grafana/log

修改配置文件

[paths]
data = /data/grafana/data
temp_data_lifetime = 24h
logs = /data/grafana/log
plugins = /data/grafana/plugins
provisioning = conf/provisioning

[server]
protocol = http
http_addr =
http_port = 3000
domain = 192.168.2.150

[smtp]
enabled = true
host = smtp.sina.com:465
user = wangshui898@sina.com
password = 邮箱授权码
cert_file =
key_file =
skip_verify = false
from_address = wangshui898@sina.com
from_name = Grafana
ehlo_identity =
startTLS_policy =

配置service启动文件

cat > /usr/lib/systemd/system/grafana-server.service << 'EOF'
[Unit]
Description=This is grafana-server
After=network.target

[Service]
Type=simple
WorkingDirectory=/usr/local/grafana
ExecReload=/bin/kill -HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
ExecStart=/usr/local/grafana/bin/grafana-server --config=/usr/local/grafana/conf/grafana.ini --pidfile=/data/grafana/log/grafana-server.pid
ExecReload=/bin/kill -HUP $MAINPID
KillMode=process
Restart=on-failure

[Install]
WantedBy=multi-user.target
EOF

启动grafana

systemctl daemon-reload
systemctl start grafana-server
systemctl enable grafana-server

登录地址

IP:3000

帐号口令:
admin
admin

告警配置

常用插件

./grafana-cli plugins install grafana-piechart-panel

常用监控项

CPU使用率[1m]

(1-((sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance))/ (sum(increase(node_cpu_seconds_total[1m])) by (instance))))*100

公式解析:

(1-(所有cpu空闲使用时间)/(所有cpu总使用时间总和))*100

CPU磁盘IO负载[1m]

((sum(increase(node_cpu_seconds_total{mode="iowait"}[1m])) by (instance))/(sum(increase(node_cpu_seconds_total[1m])) by (instance)))*100

公式解析:

(cpu_iowait使用时间综合)/(所有cpu使用时间总和)*100

内存使用率

(1-((node_memory_Buffers_bytes + node_memory_Cached_bytes + node_memory_MemFree_bytes)/node_memory_MemTotal_bytes))*100

可用内存=系统free memory+buffers+cached

buffers和cached虽然被占用,但新的内容到来时,是可以快速释放并应用

内存使用率=实际使用内存/总内存,即: (1-((可用内存)/内存总量)*100

centos7之后,available直接给出实际可用内存数

磁盘容量使用率

方法一:

(1-(node_filesystem_free_bytes/node_filesystem_size_bytes))*100

公式解析:

1-(系统空闲空间/系统总容量)*100

硬盘读写速度[1m]

((rate(node_disk_read_bytes_total[1m])+rate(node_disk_written_bytes_total[1m]))/1024/1024)>0

两次1024后为Mbs

网络带宽

rate(node_network_transmit_bytes_total[1m])

TCP连接数(wait_connections状态)[1m]

使用pushgateway,脚本如下

#!/bin/bash
instance_name=`hostname -f|cut -d'.' -f1`

if [ ${instance_name} == "localhost" ];then
        echo "Must FQDN hostname"
        exit 1;
fi

label="count_netstat_wait_connections"
count_netstat_wait_connections=`netstat -antp|grep -i wait |wc -l`
echo "$label: ${count_netstat_wait_connections}"
echo "$label ${count_netstat_wait_connections}"| curl --data-binary @- http://192.168.2.150:9091/metrics/job/pushgateway1/instance/${instance_name}

公式:

count_netstat_wait_connections

文件描述符使用率

(node_filefd_allocated/node_filefd_maximum) * 100

网络连通性监控

pushgateway方式

脚本

#!/bin/bash
instance_name=`hostname -f|cut -d'.' -f1`

if [ ${instance_name} == "localhost" ];then
        echo "Must FQDN hostname"
        exit 1;
fi

lspk=`timeout 3 ping -q -A -s 500 -W 1000 -c 100 192.168.2.150|grep transmitted|awk '{print $6}'`
rrt=`timeout 3 ping -q -A -s 500 -W 1000 -c 100 192.168.2.150|grep transmitted|awk '{print $10}'`

value_lspk=`echo $lspk|sed "s/%//g"`
value_rrt=`echo $rrt|sed "s/ms//g"`

echo "lost_packet_: ${value_lspk}"
echo "lost_packet ${value_lspk}"|curl --data-binary @- http://192.168.2.150:9091/metrics/job/pushgateway1/instance/${instance_name}

echo "rrt: ${value_rrt}"
echo "rrt ${value_rrt}"|curl --data-binary @- http://192.168.2.150:9091/metrics/job/pushgateway1/instance/${instance_name}

硬盘空间使用率

((node_filesystem_size_bytes{mountpoint="/"}-node_filesystem_free_bytes{mountpoint="/"})/node_filesystem_size_bytes{mountpoint="/"})*100

硬盘空间使用量

  • 大饼图

使用容量

(node_filesystem_size_bytes{mountpoint="/",fstype="xfs",instance="192.168.2.151:9100"}-node_filesystem_free_bytes{mountpoint="/",fstype="xfs",instance="192.168.2.151:9100"})/1024/1024/1024

空闲容量

(node_filesystem_free_bytes{mountpoint="/",fstype="xfs",instance="192.168.2.151:9100"})/1024/1024/1024

硬盘总容量

(node_filesystem_size_bytes{mountpoint="/",fstype="xfs",instance="192.168.2.151:9100"})/1024/1024/1024
WAIT_TIME
关注
专栏目录
部署Prometheus+Grafana监控平台
afei001
06-12 351
一、项目环境 主机名 IP地址 角色 操作系统 server 192.168.3.156/24 prometheus server Centos 7.7 node1 192.168.3.155/24 被监控端node1 Centos 7.7 node2 192.168.3.154/24 被监控端node2 Centos 7.7   二、项目拓扑   三、部署Prometheus+Grafana监控平台 1.准备工作 所有节点先执行：prepare.sh： #!/bin/ba.
Prometheus（三）Grafana部署及部署告警
weixin_53560205的博客
12-10 2103
文章目录一、Grafana部署及模板展示1.Grafan部署步骤二、打标签1.重新打标定义（在job上定义）2.relabel config(重新打标配置)三、prometheus告警功能1.告警功能概述2.告警规则3.通知告警信息4.prometheus监控系统的告警逻辑5.告警功能6.静默、抑制、分组等功能四、部署告警对接邮箱1.安装altermanager2.查看配置文件3.修改alertmanager的配置文件4.配置绑定的邮箱5.启动alertmanager6.相关配置文件7、配置promethe
prometheus+grafana部署
黑色鲸鱼的博客
09-08 1705
准备工作需要先将服务器端时间同步linux设置时间同步提前在网站上下载node_exporter、prometheus并传输到服务器中关闭firewall、selinux[ root@localhost ~ ] # iptables -F #关闭防火墙 [ root@localhost ~ ] # setenforce 0 #临时关闭selinux试验环境服务器版本：centos7prometheus部署服务器地址：192.168.1.10。
prometheus 集成 grafana 保姆级别安装部署
最新发布
code在飞的博客
09-13 1113
本文 grafana 展示效果只需要 prometheus + node_exporter + grafana 其他的选择安装。
Prometheus+Grafana部署
checkjiji的博客
08-28 164
Prometheus是采用Go语言开发的，直接使用独立的二进制文件即可部署。下面在Linux 机器上来下载安装Prometheus。首先创建一个工作目录：在Prometheus 官网获取适用于 Linux的Prometheus安装包，这里我选择最新的2.46.0版本，我是Linux系统，选择下载9090被占用改用9000默认9090被占用启动时指定监听端口为9000当启动Prometheus后，我们可以检查下它是否正确的抓取了配置的目标，可以在浏览器中访问。
Prometheus+Grafana 部署
久绊A的博客
02-28 644
Prometheus 和 Grafana 是一对常用于监控和可视化的工具。Prometheus 是一个开源的系统监控和警报工具，而 Grafana 是一个开源的数据可视化和监控平台。
Shell脚本部署Prometheus+Grafana+Alertmanager
01-20
一、部署包下载地址 1.百度网盘 ...提取码：to74 二、使用方法 tar xvf prometheus_V2.15.tgz cd install_prom ...#FUNCTION:部署Prometheus+Grafana+Alertmanager #VERSION:Prometheus-V2.15 Grafana-V5.3.
部署Prometheus+grafana详解
03-21
总结来说，部署Prometheus+Grafana涉及以下几个步骤： 1. 下载并安装Prometheus、各出口商以及Grafana。 2. 配置Prometheus的监控目标和数据抓取规则。 3. 设置Grafana的数据源为Prometheus。 4. 创建和定制Grafana...
prometheus + alertmanager + grafana +钉钉告警 动部署包
06-29
在这个部署包中，所有的组件（Prometheus、Alertmanager、Grafana）都将作为 Kubernetes 中的 Pod 运行，通过定义的 YAML 文件来描述这些资源对象，包括 Deployment、Service、ConfigMap 和 Secret 等。 6. **YAML ...
Prometheus+Grafana+node_exporter安装包
04-14
Prometheus、Grafana和node_exporter是构建高效监控平台的三个重要组件。本篇文章将详细介绍如何利用这些组件搭建一个适用于多台服务器的监控解决方案。 Prometheus是一款强大的开源监控和警报系统，它通过拉取时间...
Prometheus+Grafana部署使用说明1
08-08
本文将详细介绍如何在Linux环境下部署Prometheus和Grafana，并结合Canal来实现MySQL变化情况的性能监控。 一、Prometheus部署 Prometheus是一款开源的时序数据库和监控系统，它通过拉取目标服务的metrics来收集数据...
Prometheus监控部署
潇潇雨歇
09-21 898
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、通用监控系统基础知识以及Prometheus的概述1.监控系统的发展史：2.什么是Prometheus?二、工作原理及适用性1.prometheus获取数据的方式2.Prometheus 负责时序型指标数据的采集及存储，数据的分析、聚合、可视化、告警需要安装其他组件。三，实验环境1.关闭防火墙和核心防护1.1Prometheus部署 一、通用监控系统基础知识以及Prometheus的概述 1.监控系统的发展史： SNMP时代：
Prometheus+Grafana监控部署
weixin_41419401的博客
09-02 272
部署使用的系统为Ubuntu18.04，使用vagrant安装BOX后部署。 官方架构图： 从架构图中可以看到，我们先前验证的node_exporter属于jobs/exporter部分，称之为exporter导出器，是Prometheus主要的指标来源。Prometheus Server是服务核心组件，存储使用时序数据库TSDB将数据保存在硬盘上，由于官方对SSD做了专门的优化，所以使用SSD性能会更优。 配置方式包含多种，可以直接在写在yaml文件中，但如果配置较长也可以写入其他文件并启用文件发
Prometheus+Grafana 运维监控部署
欧阳今朝的博客
01-22 1030
Prometheus+Grafana 部署实践
linux Prometheus+Grafana 部署配置
Mr·葛
05-22 3517
Prometheus+grafana部署 简介： Prometheus是一个最初在SoundCloud上构建的开源系统监控和警报工具包 。自2012年成立以来，许多公司和组织都采用 Prometheus，该项目拥有非常活跃的开发人员和用户社区。它现在是一个独立的开源项目，并且独立于任何公司。为了强调这一点，并澄清 项目的治理结构，Prometheus 于2016年加入 云本地计算基金会，作为K...
Linux部署Prometheus+Grafana
Hard work results, technology is willing to dream
07-18 2694
Prometheus+Grafana
Prometheus-grafana简易部署
weixin_46406282的博客
07-15 150
1.安装server端 193.168.253.179 Prometheus Server #监控端 192.168.256.186 node1 #被监控端 软件包下载地址：https://prometheus.io/download/ 百度网盘下载链接：https://pan.baidu.com/s/1W_06g9F7hun8KejGWNNmuw 提取码：f95v 复制这段内容后打开百度网盘手机App，操作更方便哦 **1.**部署Prometheus Server 1.下载安装包 [root@
内网部署Prometheus-server结合grafana
生活不只是眼前的苟且,还有诗和远方!
06-20 1737
gshx/softwares/prometheus/prometheus --config.file=/oldboyedu/softwares/prometheus/prometheus.yml 以环境变量的方式启动。链接：https://pan.baidu.com/s/17bHDhmQvMHA3sg4s1OG0Sg。（外网可以选择模板ID,1860）（内网选择自定义以下步骤）就按圈内的操作其他不要管，自己的测试。--来自百度网盘超级会员V3的分享。8.1创建dashboard。rpm -ivh 包名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值