文章目录
一 . prometheus介绍
K8S 生态的组件都会提供/metric接口以提供自监控
,这里列下我们正在使用的:
Prometheus 的局限
-
Prometheus 是
基于 Metric 的监控
,不适用于日志(Logs)、事件(Event)、调用链(Tracing)。 -
Prometheus 默认是
Pull
模型,合理规划你的网络,尽量不要转发。 -
对于集群化和水平扩展,官方和社区都没有银弹,需要合理选择 Federate、Cortex、Thanos等方案。
-
监控系统一般情况下可用性大于一致性,容忍部分副本数据丢失,保证查询请求成功。这个后面说 Thanos 去重的时候会提到。
-
Prometheus 不一定保证数据准确,这里的不准确一是指 rate、histogram_quantile 等函数会做统计和推断,产生一些反直觉的结果,这个后面会详细展开。二来查询范围过长要做降采样,势必会造成数据精度丢失,不过这是时序数据的特点,也是不同于日志系统的地方。
k8s的早期版本基于组件heapster实现对pod和node节点的监控功能,但是从k8s 1.8版本开始使用metrics API的方式监控,并在1.11版本 正式将heapster替换,后期的k8s监控主要是通过metrics Server提供核心监控指标,比如Node节点的CPU和内存使用率,其他的监控交由另外一个组件Prometheus 完成
。
prometheus简介:
官方文档
https://prometheus.io/docs/
github地址
https://github.com/prometheus
Prometheus是基于go语言开发的一套开源的监控、报警和时间序列数据库的组合
,是由SoundCloud公司开发的开源监控系统,Prometheus是CNCF
(Cloud Native Computing Foundation,云原生计算基金会)继kubernetes 之后毕业的第二个项目,prometheus在容器和微服务领域中得到了广泛的应用,其特点主要如下:
prometheus系统架构图(组件)
Exporter: 将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server,Prometheus Server通过访问该Exporter提供的Endpoint端点,即可获取到需要采集的监控数据。
Alertmanager:是prometehus的告警处理中心, 从 Prometheus server 端
接收到 alerts 后,会进行去重,分组,并路由到相应的接收方,发出报警,常见的接收方式有:电子邮件,微信,钉钉, slack等。
Grafana:监控仪表盘
pushgateway: 各个目标主机可上报数据到pushgatewy,然后prometheus server统一从pushgateway拉取数据
prometheus工作流程:
-
Prometheus serve
r可定期从活跃的(up)目标主机上(target)拉取监控指标数据,目标主机的监控数据可通过配置静态job或者服务发现的方式被prometheus server采集到,这种方式默认的pull方式拉取指标;也可通过pushgateway把采集的数据上报到prometheus server中;还可通过一些组件自带的exporter采集相应组件的数据; -
Prometheus serve
r把采集到的监控指标数据保存到本地磁盘或者数据库; -
Prometheus
采集的监控指标数据按时间序列存储,通过配置报警规则,把触发的报警发送到alertmanager -
Alertmanager
通过配置报警接收方,发送报警到邮件,微信或者钉钉等 -
Prometheus 自带的web ui界面提供PromQL查询语言,可查询监控数据
-
Grafana
可接入prometheus数据源,把监控数据以图形化形式展示出
二. prometheus 安装方式
官方二进制下载及安装
https://prometheus.io/download/
prometheus server的监听端口为9090
资源规划
host1----安装server端
host2----安装node_Exporter端 采集主机运行数据
operator部署
https://github.com/coreos/kube-prometheus
1. 二进制方式安装
创建prometheus用户
groupadd prometheus
useradd -g prometheus -m -d /var/lib/prometheus -s /sbin/nologin prometheus
pwd
/usr/local/src
tar xvf prometheus-2.11.1.linux-amd64.tar.gz
ln -sv /usr/local/src/prometheus-2.11.1.linux-amd64 /usr/local/prometheus
chown prometheus.prometheus -R /usr/local/prometheus
cd /usr/local/prometheus
创建prometheus启动脚本
$ vim /etc/systemd/system/prometheus.service
添加如下内容:
[Unit]
Description=prometheus
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus --storage.tsdb.retention.time=10d --log.level=info
Restart=on-failure
[Install]
WantedBy=multi-user.target
–storage.tsdb.path 修改本地数据存储的路径
–log.level 日志等级
–storage.tsdb.retention.time 保存时间
启动prometheus服务
systemctl daemon-reload
systemctl restart prometheus
systemctl enable prometheus
kubectl port-forward --help
kubectl --namespace monitoring port-forward --address 0.0.0.0 svc/prometheus-k8s 9090:9090
访问 http://192.168.31.150:9090/targets
kubectl --namespace monitoring port-forward --address 0.0.0.0 svc/grafana 3000:3000
在运行时热
加载Prometheus的配置信息
romtheus的时序数据库在存储了大量的数据后,每次重启Prometheus进程的时间会越来越慢。 而在日常运维工作中会经常调整Prometheus的配置信息,实际上Prometheus提供了在运行时热加载配置信息的功能。
配置文件详解
Prometheus热加载HUP
Prometheus配置信息的热加载有两种方式:
第一种热加载方式:查看Prometheus的进程id,发送SIGHUP信号:
ps aux|grep prometheus
kill -HUP <pid>
第二种热加载方式:发送一个POST请求到/-/reload,需要在启动时给定–web.enable-lifecycle选项:
curl -X POST http://localhost:9090/-/reload
1
如果配置热加载成功,Prometheus会打印出下面的log:
... msg="Loading configuration file" filename=prometheus.yml ...
第一种热加载方式service文件
[Unit]
Description=prometheus
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/prometheus/prometheus \
--config.file==/usr/local/prometheus/prometheus.yml \
--storage.tsdb.path=/home/prometheus/data \
--storage.tsdb.retention=365d \
--web.listen-address=:9090 \
--web.external-url=https://prometheus.frognew.com
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
1. 2容器----方式安装
docker镜像直接启动
https://prometheus.io/docs/prometheus/latest/installation/
docker run -p 9090:9090 -v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
可以通过http://localhost:9090
访问Prometheus的UI界面
1.3 prometheus命令
usage: prometheus [<flags>]
The Prometheus monitoring server
Flags:
-h, --help 查看命令帮助
--version 查看版本信息
--config.file="prometheus.yml"
Prometheus配置文件路径
--web.listen-address="0.0.0.0:9090"
监听地址
--web.read-timeout=5m 超时读取请求并关闭空闲连接之前的最大持续时间
--web.max-connections=512 最大同时连接数
--web.external-url=<URL> 可从外部访问Prometheus的URL,(例如,如果Prometheus是通过反向代理提供的)。
用来生成返回到Prometheus本身的相对和绝对路径。如果该网址包含路径部分,它将是
用于为Prometheus服务的所有HTTP端点添加前缀。 如果省略,将导出相关的URL组件
自动。
--web.route-prefix=<path> Web端点内部路由的前缀。 默认为--web.external-url的路径。
--web.user-assets=<path> 静态资源目录位于:/user.
--web.enable-lifecycle 启用关机并通过HTTP请求重新加载.
--web.enable-admin-api 为管理员控制操作启用API端点.
--web.console.templates="consoles"
控制台模板目录的路径位于:/consoles.
--web.console.libraries="console_libraries"
控制台库目录的路径.
--web.page-title="Prometheus Time Series Collection and Processing Server"
Prometheus实例的文档标题.
--web.cors.origin=".*" 用于CORS来源的正则表达式:'https?://(domain1|domain2)\.com'
--storage.tsdb.path="data/"
指标存储的基本路径.
--storage.tsdb.retention.time=STORAGE.TSDB.RETENTION.TIME
将样品保存多长时间。 设置此标志后,它将覆盖“ storage.tsdb.retention”。 如果未设置此标志,“ storage.tsdb.retention”或“ storage.tsdb.retention.size”,则保留时间默认为15d。 支持的单位:y,w,d,h,m,s,ms。
--storage.tsdb.retention.size=STORAGE.TSDB.RETENTION.SIZE
EXPERIMENTAL]可以为块存储的最大字节数。 需要一个单位,受支持的单位:B,KB,MB,GB,TB,PB,EB。 例如:“ 512MB”。 该标志是试验性的,可以在将来的版本中进行更改。
--storage.tsdb.no-lockfile
不要在数据目录中创建锁文件。
--storage.tsdb.allow-overlapping-blocks
[EXPERIMENTAL]允许重叠的块,从而启用垂直压缩和垂直查询合并。
--storage.tsdb.wal-compression
压缩tsdb WAL。
--storage.remote.flush-deadline=<duration>
关闭或配置重新加载时等待冲洗样品的时间
--storage.remote.read-sample-limit=5e7
在单个查询中要通过远程读取接口返回的最大样本总数。 0表示没有限制。 对于流式响应类型,将忽略此限制。
--storage.remote.read-concurrent-limit=10
并发远程读取调用的最大数目。 0表示没有限制。
--storage.remote.read-max-bytes-in-frame=1048576
编组之前用于流式传输远程读取响应类型的单个帧中的最大字节数。 请注意,客户端也可能会限制帧大小。 默认为protobuf建议的1MB。
--rules.alert.for-outage-tolerance=1h
容忍普罗米修斯中断以恢复警报“ for”状态的最大时间。
--rules.alert.for-grace-period=10m
警报和恢复的“ for”状态之间的最短持续时间。 仅对于配置的“ for”时间大于宽限期的警报,才保持此状态。
--rules.alert.resend-delay=1m
重新发送警报到Alertmanager之前等待的最短时间
--alertmanager.notification-queue-capacity=10000
等待的Alertmanager通知的队列容量。
--alertmanager.timeout=10s
向Alertmanager发送警报的超时。
--query.lookback-delta=5m 在表达式评估和联合期间用于检索指标的最大回溯持续时间。
--query.timeout=2m 查询中止之前可能要花费的最长时间。
--query.max-concurrency=20
并发执行的最大查询数。
--query.max-samples=50000000
单个查询可以加载到内存中的最大样本数。 请注意,如果查询尝试将更多的样本加载到内存中,则查询将失败,因此这也限制了查询可以返回的样本数。
--log.level=info 仅记录具有给定严重性或更高严重性的消息。 下列之一:[调试,信息,警告,错误]
--log.format=logfmt 日志消息的输出格式。 下列之一:[logfmt,json]
2. 安装 node_exporter
被监控端
在Prometheus的架构设计中,Prometheus Server并不直接服务监控特定的目标
,其主要任务负责数据的收集,存储并且对外提供数据查询支持。因此为了能够能够监控到某些东西,如主机的CPU使用率,我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址(通常是/metrics)拉取监控样本数据.
Exporter可以是一个相对开放的概念,其可以是一个独立运行的程序独立于监控目标以外,也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。
在 Prometheus 本节点或者另一台节点上分别安装 node_exporter
收集各k8s node节点上的监控指标数据,监听端口为9100
useradd prometheus -s /sbin/nologin
tar xf node_exporter-1.0.1.linux-amd64.tar.gz -C /usr/local/
cd /usr/local/
ln -s /usr/local/node_exporter-1.0.1.linux-amd64/ /usr/local/node_exporter
chown -R prometheus:prometheus /usr/local/node_exporter
创建 node_exporter 启动脚本
vim /etc/systemd/system/node_exporter.service
[Unit]
Description=node_export
Documentation=https://github.com/prometheus/node_exporter
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/node_exporter/node_exporter
Restart=on-failure
[Install]
WantedBy=multi-user.target
注意:node_exporter 的运行用户也是 prometheus 用户需要在每台节点上都创建该用户
启动node exporter服务
systemctl daemon-reload
systemctl restart node-exporter
systemctl enable node-exporter
ss -tnl | grep 9100
访问http://localhost:9100/
curl http://localhost:9100/
访问http://localhost:9100/metrics
,可以看到当前node exporter获取到的当前主机的所有监控数据,如下所示
每一个监控指标
之前都会有一段类似于如下形式的信息
# HELP node_cpu Seconds the cpus spent in each mode.
# TYPE node_cpu counter
node_cpu{cpu="cpu0",mode="idle"} 362812.7890625
# HELP node_load1 1m load average.
# TYPE node_load1 gauge
node_load1 3.0703125
查看监控图形
2.2 node_exporter常用命令
用法:node_exporter [<flags>]
标志:
-h,--help显示上下文相关的帮助(也可以尝试--help-long和--help-man)。
--collector.cpu.info启用指标cpu_info
--collector.diskstats.ignored-devices =“ ^(ram | loop | fd |(h | s | v | xv)d [a-z] | nvme \\ d + n \\ d + p)\\ d + $”
设备的正则表达式,忽略diskstats。
--collector.filesystem.ignored-mount-points =“ ^ /(dev | proc | sys | var / lib / docker /.+)($ | /)”
对于文件系统收集器,要忽略的安装点正则表达式。
--collector.filesystem.ignored-fs-types =“ ^(autofs | binfmt_misc | bpf | cgroup2?| configfs | debugfs | devpts | devtmpfs | fusectl | hugetlbfs | iso9660 | mqueue | nsfs | overlay | proc | procfs | pstore | rpc_pipefs | securityfs | selinuxfs | squashfs | sysfs | tracefs)$“
文件系统收集器忽略的文件系统类型的正则表达式。
--collector.netclass.ignored-devices =“ ^ $”
Netclass收集器忽略的网络设备的正则表达式。
--collector.netdev.device-blacklist = COLLECTOR.NETDEV.DEVICE-BLACKLIST
净设备正则表达式到黑名单(相互排斥于设备白名单)。
--collector.netdev.device-whitelist = COLLECTOR.NETDEV.DEVICE-WHITELIST
将网络设备的正则表达式添加到白名单(相互排斥于设备黑名单)。
--collector.netstat.fields =“ ^(。* _(InErrors | InErrs)| Ip_Forwarding | Ip(6 | Ext)_(InOctets | OutOctets)| Icmp6?__(InMsgs | OutMsgs)| TcpExt_(Listen。* | Syncookies。* | TCPSynRetrans)| Tcp_(ActiveOpens | InSegs | OutSegs | PassiveOpens | RetransSegs | CurrEstab)| Udp6?_(InDatagrams | OutDatagrams | NoPorts | RcvbufErrors | SndbufErrors))$“
Regexp字段返回以返回netstat收集器。
--collector.ntp.server =“ 127.0.0.1”
用于ntp收集器的NTP服务器
--collector.ntp.protocol-version = 4
NTP协议版本
--collector.ntp.server-is-local
确认collector.ntp.server地址不是公共ntp服务器
--collector.ntp.ip-ttl = 1发送NTP查询时要使用的IP TTL
--collector.ntp.max-distance = 3.46608s
到根的最大累积距离
--collector.ntp.local-offset-tolerance = 1ms
本地时钟和本地ntpd时间之间的偏差可以容忍
--path.procfs =“ / proc”挂载点。
--path.sysfs =“ / sys” sysfs挂载点。
--path.rootfs =“ /” rootfs安装点。
--collector.perf.cpus =“”应该从中收集性能指标的CPU列表
--collector.perf.tracepoint = COLLECTOR.PERF.TRACEPOINT ...
应收集的性能跟踪点
--collector.powersupply.ignored-supplies =“ ^ $”
电源正则表达式对于powersupplyclass收集器将被忽略。
--collector.qdisc.fixtures =“”
用于qdisc收集器端到端测试的测试夹具
--collector.runit.servicedir =“ / etc / service”
Runit服务目录的路径。
--collector.supervisord.url =“ http:// localhost:9001 / RPC2”
XML RPC端点。
--collector.systemd.unit-whitelist =“。+”
将系统单位的正则表达式列入白名单。单元必须同时与白名单匹配,并且与黑名单不匹配。
--collector.systemd.unit-blacklist =“。+ \\。(自动安装|设备|安装|范围|切片)”
将系统单位的正则表达式列入黑名单。单元必须同时与白名单匹配,并且与黑名单不匹配。
--collector.systemd.enable-task-metrics
启用服务单元任务指标unit_tasks_current和unit_tasks_max
--collector.systemd.enable-restarts-metrics
启用服务单位指标service_restart_total
--collector.systemd.enable-start-time-metrics
启用服务单位指标unit_start_time_seconds
--collector.textfile.directory =“”
用于读取带有度量标准的文本文件的目录。
--collector.vmstat.fields =“ ^(oom_kill | pgpg | pswp | pg。* fault)。*”
用于vmstat收集器返回的字段的正则表达式。
--collector.wifi.fixtures =“”
测试装置以用于wifi收集器指标
--collector.arp启用arp收集器(默认值:启用)。
--collector.bcache启用bcache收集器(默认值:启用)。
--collector.bonding启用绑定收集器(默认值:启用)。
--collector.btrfs启用btrfs收集器(默认值:启用)。
--collector.buddyinfo启用buddyinfo收集器(默认值:禁用)
--collector.conntrack启用conntrack收集器(默认值:启用)。
--collector.cpu启用cpu收集器(默认值:启用)。
--collector.cpufreq启用cpufreq收集器(默认值:启用)。
--collector.diskstats启用diskstats收集器(默认值:启用)。
--collector.drbd启用drbd收集器(默认值:禁用)。
--collector.edac启用edac收集器(默认值:启用)。
--collector.entropy启用熵收集器(默认值:启用)。
--collector.filefd启用filefd收集器(默认值:启用)。
--collector.filesystem启用文件系统收集器(默认值:启用)。
--collector.hwmon启用hwmon收集器(默认值:启用)。
--collector.infiniband启用infiniband收集器(默认值:启用)。
--collector.interrupts启用中断收集器(默认值:禁用)。
--collector.ipvs启用ipvs收集器(默认值:启用)。
--collector.ksmd启用ksmd收集器(默认值:禁用)。
--collector.loadavg启用loadavg收集器(默认值:启用)。
--collector.logind启用登录的收集器(默认值:禁用)。
--collector.mdadm启用mdadm收集器(默认值:启用)。
--collector.meminfo启用meminfo收集器(默认值:启用)。
--collector.meminfo_numa启用meminfo_numa收集器(默认值:禁用)。
--collector.mountstats启用mountstats收集器(默认值:禁用)。
--collector.netclass启用netclass收集器(默认值:启用)。
--collector.netdev启用netdev收集器(默认值:启用)。
--collector.netstat启用netstat收集器(默认值:启用)。
--collector.nfs启用nfs收集器(默认值:启用)。
--collector.nfsd启用nfsd收集器(默认值:启用)。
--collector.ntp启用ntp收集器(默认值:禁用)。
--collector.perf启用性能收集器(默认值:禁用)。
--collector.powersupplyclass
启用powersupplyclass收集器(默认值:启用)。
--collector.pressure启用压力收集器(默认值:启用)。
--collector.processes启用进程收集器(默认值:禁用)。
--collector.qdisc启用qdisc收集器(默认值:禁用)。
--collector.rapl启用rapl收集器(默认值:启用)。
--collector.runit启用runit收集器(默认值:禁用)。
--collector.schedstat启用schedstat收集器(默认值:启用)。
--collector.sockstat启用sockstat收集器(默认值:启用)。
--collector.softnet启用softnet收集器(默认值:启用)。
--collector.stat启用统计信息收集器(默认值:启用)。
--collector.supervisord启用受监管的收集器(默认值:禁用)。
--collector.systemd启用systemd收集器(默认值:禁用)。
--collector.tcpstat启用tcpstat收集器(默认值:禁用)。
--collector.textfile启用文本文件收集器(默认值:启用)。
--collector.thermal_zone启用thermal_zone收集器(默认值:启用)。
--collector.time启用时间收集器(默认值:启用)。
--collector.timex启用timex收集器(默认值:启用)。
--collector.udp_queues启用udp_queues收集器(默认值:启用)。
--collector.uname启用uname收集器(默认值:启用)。
--collector.vmstat启用vmstat收集器(默认值:启用)。
--collector.wifi启用wifi收集器(默认值:禁用)。
--collector.xfs启用xfs收集器(默认值:启用)。
--collector.zfs启用zfs收集器(默认值:启用)。
--web.listen-address =“:9100”
公开指标和Web界面的地址。
--web.telemetry-path =“ / metrics”
公开指标的路径。
--web.disable-exporter-metrics
排除有关导出器本身的指标(promhttp _ *,process _ *,go_ *)。
--web.max-requests = 40并行抓取请求的最大数量。使用0禁用。
--collector.disable-defaults
将所有收集器默认设置为禁用。
--web.config =“” [EXPERIMENTAL]可以启用TLS或身份验证的配置yaml文件的路径。
--log.level = info仅记录具有给定严重性或更高严重性的消息。下列之一:[调试,信息,警告,错误]
--log.format = logfmt日志消息的输出格式。下列之一:[logfmt,json]
--version 查看版本信息
3. 给server加node节点
登录到prometheus服务器,备份配置文件
cd /data/prometheus
cat prometheus.yml.bak|grep -v '^#'|grep -v '^ #'|grep -v '^ #' > prometheus.yml
增加job_name
名字为:node_exporter
cd /usr/local/prometheus
vim prometheus.yml
scrape_configs:
# 搜集node exporter监控数据
- job_name: 'prometheus'
# 对本机node_exporter 监控
static_configs:
- targets: ['localhost:9090','localhost:9100']
#举例新添加的对其它node节点抓取数据
- job_name: 'node1'
#重写了全局抓取间隔时间,由15秒重写成5秒。
scrape_interval: 5s
static_configs:
- targets: ['192.168.5.111:9100']
重启promethues
systemctl restart prometheus
访问 Prometheus WEB
查看我们定义的目标主机:http://Prometheus:9090/targets
确保状态UP
“1”表示正常
,反之“0”则为异常
k8s集群中部署prometheus
- 创建namespace、sa账号,在k8s集群的master节点操作
#创建一个monitor-sa的名称空间
kubectl create ns monitor-sa
#创建一个sa账号
kubectl create serviceaccount monitor -n monitor-sa
#把sa账号monitor通过clusterrolebing绑定到clusterrole上
kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrole=cluster-admin --serviceaccount=monitor-sa:monitor
- 创建数据目录
#在k8s集群的任何一个node节点操作,因为我的k8s集群只有一个node节点node1,所以我在node1上操作如下命令:
mkdir /data
chmod 777 /data/
- 安装prometheus,以下步骤均在在k8s集群的master1节点操作
1)创建一个configmap存储卷,用来存放prometheus配置信息prometheus-cfg.yaml
---
kind: ConfigMap
apiVersion: v1
metadata:
labels:
app: prometheus
name: prometheus-config
namespace: monitor-sa
data:
prometheus.yml: |
global:
scrape_interval: 15s
scrape_timeout: 10s
evaluation_interval: 1m
scrape_configs:
- job_name: 'kubernetes-node'
kubernetes_sd_configs:
- role: node
relabel_configs:
- source_labels: [__address__]
regex: '(.*):10250'
replacement: '${1}:9100'
target_label: __address__
action: replace
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)
- job_name: 'kubernetes-node-cadvisor'
kubernetes_sd_configs:
- role: node
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
relabel_configs:
- action: labelmap
regex: __meta_kubernetes_node_label_(.+)
- target_label: __address__
replacement: kubernetes.default.svc:443
- source_labels: [__meta_kubernetes_node_name]
regex: (.+)
target_label: __metrics_path__
replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
- job_name: 'kubernetes-apiserver'
kubernetes_sd_configs:
- role: endpoints
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
relabel_configs:
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]
action: keep
regex: default;kubernetes;https
- job_name: 'kubernetes-service-endpoints'
kubernetes_sd_configs:
- role: endpoints
relabel_configs:
- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scrape]
action: keep
regex: true
- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_scheme]
action: replace
target_label: __scheme__
regex: (https?)
- source_labels: [__meta_kubernetes_service_annotation_prometheus_io_path]
action: replace
target_label: __metrics_path__
regex: (.+)
- source_labels: [__address__, __meta_kubernetes_service_annotation_prometheus_io_port]
action: replace
target_label: __address__
regex: ([^:]+)(?::\d+)?;(\d+)
replacement: $1:$2
- action: labelmap
regex: __meta_kubernetes_service_label_(.+)
- source_labels: [__meta_kubernetes_namespace]
action: replace
target_label: kubernetes_namespace
- source_labels: [__meta_kubernetes_service_name]
action: replace
target_label: kubernetes_name
注意:通过上面命令生成的promtheus-cfg.yaml文件会有一些问题,$1和$2这种变量在文件里没有,需要在k8s的master1节点打开promtheus-cfg.yaml文件,手动把$1和$2这种变量写进文件里,promtheus-cfg.yaml文件需要手动修改部分如下
22行的replacement: ':9100'变成replacement: '${1}:9100'
42行的replacement: /api/v1/nodes//proxy/metrics/cadvisor变成
replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
73行的replacement: 变成replacement: $1:$2
更新configmap
kubectl apply -f prometheus-cfg.yaml
2)通过deployment部署prometheus
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: prometheus-server
namespace: monitor-sa
labels:
app: prometheus
spec:
replicas: 1
selector:
matchLabels:
app: prometheus
component: server
#matchExpressions:
#- {key: app, operator: In, values: [prometheus]}
#- {key: component, operator: In, values: [server]}
template:
metadata:
labels:
app: prometheus
component: server
annotations:
prometheus.io/scrape: 'false'
spec:
nodeName: node1
serviceAccountName: monitor
containers:
- name: prometheus
image: prom/prometheus:v2.2.1
imagePullPolicy: IfNotPresent
command:
- prometheus
- --config.file=/etc/prometheus/prometheus.yml
- --storage.tsdb.path=/prometheus
- --storage.tsdb.retention=720h
ports:
- containerPort: 9090
protocol: TCP
volumeMounts:
- mountPath: /etc/prometheus/prometheus.yml
name: prometheus-config
subPath: prometheus.yml
- mountPath: /prometheus/
name: prometheus-storage-volume
volumes:
- name: prometheus-config
configMap:
name: prometheus-config
items:
- key: prometheus.yml
path: prometheus.yml
mode: 0644
- name: prometheus-storage-volume
hostPath:
path: /data
type: Directory
注意:在上面的prometheus-deploy.yaml文件有个nodeName字段,这个就是用来指定创建的这个prometheus的pod调度到哪个节点上,我们这里让nodeName=node1,也即是让pod调度到node1节点上,因为node1节点我们创建了数据目录/data,所以大家记住:你在k8s集群的哪个节点创建/data,就让pod调度到哪个节点。
更新prometheus
kubectl apply -f prometheus-deploy.yaml
kubectl get pods -n monitor-sa
3) 给prometheus pod创建一个service
---
apiVersion: v1
kind: Service
metadata:
name: prometheus
namespace: monitor-sa
labels:
app: prometheus
spec:
type: NodePort
ports:
- port: 9090
targetPort: 9090
protocol: TCP
selector:
app: prometheus
component: server
更新service
kubectl apply -f prometheus-svc.yaml
#查看service在物理机映射的端口
kubectl get svc -n monitor-sa
访问prometheus web ui界面
http://192.168.0.6:31043/graph