Spring Boot 集成 prometheus，Grafana 监控

1 prometheus

Prometheus是一个根据应用的metrics来进行监控的开源工具。具体可见官网

2 Spring Boot 集成 prometheus

2.1 构建 spring boot 应用

• pom 依赖

  <dependencies>
      <dependency>
          <groupId>org.springframework.boot</groupId>
          <artifactId>spring-boot-starter-actuator</artifactId>
          <version>${spring.boot.version}</version>
      </dependency>
      <dependency>
          <groupId>org.springframework.boot</groupId>
          <artifactId>spring-boot-starter-web</artifactId>
          <version>${spring.boot.version}</version>
      </dependency>
      <dependency>
          <groupId>org.springframework.boot</groupId>
          <artifactId>spring-boot-starter-test</artifactId>
          <version>${spring.boot.version}</version>
          <scope>test</scope>
      </dependency>
      
      <!-- prometheus -->
      <dependency>
          <groupId>io.micrometer</groupId>
          <artifactId>micrometer-registry-prometheus</artifactId>
          <version>1.1.3</version>
      </dependency>
  </dependencies>
  

• 配置

  spring.application.name=prometheus-metrics
  server.port=8080
  management.endpoints.web.exposure.include=*
  # 配合 Grafana 的 Dashboard 设置
  management.metrics.tags.application=${spring.application.name}
  

• MeterRegistryCustomizer 配置

  @Configuration
  public class MetricsConfig {
      @Value("${spring.application.name}")
      String applicationName;
  
      @Bean
      MeterRegistryCustomizer<MeterRegistry> meterRegistry() {
  	      	return (registry) -> registry.config().commonTags("application", applicationName);
  	}
  }
  

  PS: 配置类名千万别叫 PrometheusConfig，会报错，已经存在这样的 bean。

SpringBoot 项目就搭建完成了，可以看到集成 Prometheus 是非常简单的。启动项目，访问http://localhost:8080/actuator/prometheus，如图所示，可以看到一些度量指标。

2 Prometheus 搭建

• mac 下安装 prometheus

  $ brew install prometheus
  

• linux 安装

  # 1. 下载
  wget https://github.com/prometheus/prometheus/releases/download/v2.10.0/prometheus-2.10.0.linux-amd64.tar.gz
  # 2. 解压
  tar zxvf prometheus-2.10.0.linux-amd64.tar.gz
  # 3. 启动
  cd prometheus-2.10.0.linux-amd64
  ./prometheus --config.file=prometheus.yml
  

2. 解压

tar zxvf prometheus-2.10.0.linux-amd64.tar.gz

3. 启动

cd prometheus-2.10.0.linux-amd64
./prometheus --config.file=prometheus.yml

• 配置 prometheus

  global:
    scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
    evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  
  scrape_configs:
    # spring boot 应用配置
    - job_name: "prometheus-metrics"
      metrics_path: "/actuator/prometheus" # spring boot 监控访问路径
      static_configs:
      - targets: ["localhost:8080"] # 域名
    # prometheus 应用本身
    - job_name: "prometheus"
      static_configs:
      - targets: ["localhost:9090"]
  

  PS: prometheus 默认配置文件位置：/usr/local/etc/prometheus.yml

• 启动 prometheus，后台运行

  $ prometheus --config.file=/usr/local/etc/prometheus.yml &
  

现在，可以通过浏览器访问 localhost:9090 就可以看到prometheus的监控页面。

当然，在 graph 菜单栏可以查看其他监控指标。

3 grafana

• 安装

  brew install grafana
  

• 启动 grafana

  brew services start grafana
  

现在就可以通过 http://localhost:3000/?orgId=1 访问 grafana 了。后面就可以通过添加 datasource，就可以定义监控和图形。比如导入 JVM 监控。

4 实例

4.1 监控系统信息

• 安装 node_exporter

  下载

  tar -xvzf node_exporter-1.0.1.darwin-amd64.tar.gz
  cd node_exporter-1.0.1.darwin-amd64
  ././node_exporter &
  

• 配置 prometheus

  - job_name: "172.16.0.116" # 主机 ip 地址
  metrics_path: "/metrics" # 可以不配，prometheus 默认从此接口获取信息
  static_configs:
   - targets: ["localhost:9100"] # node_exporter 监听端口 9100
  

• grafana dashboard 配置

  官方查找 dashboard，然后导入 dashboard。
  

4.2 监控告警

4.2.1 告警系统宕机

• 部署 Alertmanager

  下载 AlertManager

  1. 解压
  tar -zxvf 
  2.  配置alertmanager.yml
  

  # 全局配置
  global:
    resolve_timeout: 5m
    smtp_smarthost: 'xxxxxx'
    smtp_from: 'xxxx@xx.com'
    smtp_auth_username: 'xxxx@xx.com'
    smtp_auth_password: 'XXXXXX'
  # 路由配置
  route:
    receiver: 'default-receiver' # 父节点
    group_by: ['alertname'] # 分组规则
    group_wait: 10s # 为了能够一次性收集和发送更多的相关信息时，可以通过		group_wait 参数设置等待时间
    group_interval: 1m  #定义相同的Group之间发送告警通知的时间间隔
    repeat_interval: 1m
    routes: # 子路由，根据match路由
    - receiver: 'rhf-mail-receiver'
      group_wait: 10s
      match: # 匹配自定义标签
        team: rhf    
  # 告警接收者配置
  receivers:
  - name: 'default-receiver'
    email_configs:
    - to: 'xxxx@xx.com'
  - name: 'rhf-mail-receiver'
    email_configs:
    - to: 'xxxx@xx.com'
  

  目前官方内置的第三方通知集成包括：邮件、 即时通讯软件（如Slack、Hipchat）、移动应用消息推送(如Pushover)和自动化运维工具（例如：Pagerduty、Opsgenie、Victorops）。Alertmanager的通知方式中还可以支持Webhook，通过这种方式开发者可以实现更多个性化的扩展支持（钉钉、企业微信等）。

• 启动 AlertManager
  Alermanager 会将数据保存到本地中，默认的存储路径为 data/。因此，在启动Alertmanager之前需要创建相应的目录：./alertmanager。用户也在启动 Alertmanager 时使用参数修改相关配置。–config.file 用于指定 alertmanager 配置文件路径，–storage.path 用于指定数据存储路径。

• 设置告警规则

  在 Prometheus 目录下新建 alert-rule.yaml 来设置告警规则，内容如下：

  groups:
  - name: alert-rule
    rules:
    - alert: svc-down # 服务是否下线
      expr: sum(up{job="springboot-actuator-prometheus-test"}) == 0
      for: 1m
      labels: # 自定义标签
        severity: critical
        team: rhf # 我们小组的名字，对应上面match 的标签匹配
      annotations:
        summary: "服务已下线，请检查"
  

• 配置 prometheus

  在 prometheus.yml 文件下，引用 alert-rule.yaml 告警规则配置，并开启 Alertmanager。

  alerting:
    alertmanagers:
    - static_configs:
      - targets:
        # alertmanage default start port 9093
        - localhost:9093  
  rule_files:
    - /data/prometheus-stack/prometheus/rule/*.yml