Grafana+Prometheus通过node_exporter监控Linux服务器信息

一、Grafana+Prometheus通过node_exporter监控Linux服务器信息

Prometheus是一个开源的服务监控系统，它通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。

• 多维数据模型（时序列数据由metric名和一组key/value组成）
• 在多维度上灵活的查询语言(PromQl)
• 不依赖分布式存储，单主节点工作.
• 通过基于HTTP的pull方式采集时序数据
• 可以通过push gateway进行时序列数据推送(pushing)
• 可以通过服务发现或者静态配置去获取要采集的目标服务器
• 多种可视化图表及仪表盘支持

Prometheus通过安装在远程机器上的exporter来收集监控数据，后面我们将使用到node_exporter收集系统数据。

Grafana和Prometheus的安装不再赘述，可参考网上教程或本专栏内的其他文章。Grafana+Prometheus系统监控之Redis
直接讲解node_exporter部分。

1.1 node_exporter下载

进入官网node_exporter进行下载。

也可以直接下载

#下载
wget https://github.com/prometheus/node_exporter/releases/download/v0.14.0/node_exporter-0.15.0.linux-amd64.tar.gz -O node_exporter-0.15.0.linux-amd64.tar.gz
# 可自定义解压目录
tar -xvf node_exporter-0.15.0.linux-amd64.tar.gz

1.2 启动

解压后，进入到解压目录，启动node_exporter：

./node_exporter
#这种方式启动会将此进程启动到前台，当把当前的命令行关闭，这个进程也会跟着关闭，可以把进程启动到后台运行：
nohup ./node_exporter

nohup ./node_exporter> nodeout.file 2>&1 &
#终端输出存会放在当前目录下的nodeout.file文件中

1.3 node_exporter的常用配置项详解

通常，我们使用./node_exporter来启动node_exporter。但是node_exporter其实存在很多内置参数，下面是常用的参数详解。

1.3.1 node_exporte基本信息配置

--web.listen-address=":9100"  
#node_exporter监听的端口，默认是9100，若需要修改则通过此参数。

--web.telemetry-path="/metrics"  
#获取metric信息的url，默认是/metrics，若需要修改则通过此参数

--log.level="info" 
#设置日志级别

--log.format="logger:stderr"  
#设置打印日志的格式，若有自动化日志提取工具可以使用这个参数规范日志打印的格式

修改node_exporter启动端口：

nohup ./node_exporter> nodeout.file 2>&1 --web.listen-address=":9101" &  

1.3.2 通过正则表达式来屏蔽或选择某些监控项

--collector.diskstats.ignored-devices="^(ram|loop|fd|(h|s|v|xv)d[a-z]|nvme\\d+n\\d+p)\\d+$"
#通过正则表达式忽略某些磁盘的信息收集

--collector.filesystem.ignored-mount-points="^/(dev|proc|sys|var/lib/docker/.+)($|/)"  
#通过正则表达式忽略某些文件系统挂载点的信息收集

--collector.filesystem.ignored-fs-types="^(autofs|binfmt_misc|bpf|cgroup2?|configfs|debugfs|devpts|devtmpfs|fusectl|hugetlbfs|mqueue|nsfs|overlay|proc|procfs|pstore|rpc_pipefs|securityfs|selinuxfs|squashfs|sysfs|tracefs)$"  
#通过正则表达式忽略某些文件系统类型的信息收集

--collector.netclass.ignored-devices="^$"  
#通过正则表达式忽略某些网络类的信息收集

--collector.netdev.ignored-devices="^$"  
#通过正则表达式忽略某些网络设备的信息收集

  --collector.netstat.fields="^$"
 #通过正则表达式配置需要获取的网络状态信息
 
--collector.vmstat.fields="^(oom_kill|pgpg|pswp|pg.*fault).*" 
#通过正则表达式配置vmstat返回信息中需要收集的选项

1.4 将node_exporter配置到Prometheus中

修改Prometheus的配置文件：

vi /prometheus/prometheus.yml

增加一个job，target是node_exporter的9100的地址：

 - job_name: linux
    static_configs:
      - targets: ['192.168.1.130:9100'] #IP对应的是我们内网的服务器，端口则是对应的exporter的监听端口。

注意是增加一个job，不是覆盖，之前Prometheus的job不动

重新启动Prometheus。

lsof   -i:9090 #查看进程
nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

1.5 grafana数据统一可视化

普罗米修斯也可以可视化，但是他每一个指标都是单独的，而grafana是可以将普罗米修斯收集到的数据统一合并到一个美观的web图表上

1.5.1 下载热门json模块，id：8919

https://grafana.com/api/dashboards/12633/revisions/1/download 下载链接

1.5.2 登陆grafana后台http://192.168.6.109:3000添加datasource

1.5.3 导入json模块并指定普罗米修斯数据源

1.5.4. 最终结果展示数据

二、Prometheus+node_exporter+grafana打造spring boot项目的监控系统

Prometheus，Grafana安装不再追诉，参照网上教程或本专栏内相关博文，node_exporter参照Title 一。

2.1集成Prometheus到spring boot项目，并利用Prometheus的查询页面查询spring boot项目的监控数据

添加Maven

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

         <dependency>
		  <groupId>io.micrometer</groupId>
		  <artifactId>micrometer-registry-prometheus</artifactId>
		  <version>1.9.7</version>
	  </dependency>

添加配置

management:
  endpoints:
    web:
      exposure:
        include:  '*'
  metrics:
    tags:
      application: ${spring.application.name}

在spring boot启动类下添加一个bean

public class BaseMainApp {
    public static void main(String[] args) {
        SpringApplication.run(BaseMainApp.class, args);
    }

    //看这里
    @Bean
    MeterRegistryCustomizer<MeterRegistry> configurer(@Value("${spring.application.name}") String applicationName) {
        return (registry) -> registry.config().commonTags("application", applicationName);
    }
}

后台启动

nohup java -jar yourapp.jar --server.port=8888 &

配置Prometheus的yml配置文件，添加job

  - job_name: "boot-prometheus"
    scrape_interval: 2s
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ["192.168.1.5:8080"]

然后重新启动Prometheus。

拦截器的坑

如果你的spring boot设置了拦截器对访问的url进行拦截的话，一定要记得将下面这个地址开放出来，不然虽然采集到了数据，但是这些数据无法访问的话，Prometheus的查询就查询不到。

启动后，访问

http://ip:port/xxxx/actuator/ 可以看到有哪些可以访问的指标路径

2.2 Grafana配置使用Prometheus

2.2.1 配置prometheus数据源

菜单：

2.2.2 配置监控面板dashboards

可以配置多个监控模版，监控机器、springboot项目、redis，等等。
菜单：

输入模版号：4701
常用模版：dashboard的网址https://grafana.com/dashboards

主机监控展示看板 Node-exporter 导入 8919 模板
容器监控展示看板 cadvisor-exporter 导入193 模板
应用监控展示看板 jmx-exporter 导入8563 模板
Redis监控展示看板 Redis-exporter 导入2751 模板
进程监控展示看板 Process-exporter 导入249 模板
JVM 监控模板  4701

然后载入模版，选择数据源为刚刚创建的prometheus

创建完后，进入面板首页，就可以看到配置的面板了。