prometheus下载慢_Prometheus + Grafana 监控 SpringBoot项目监控系统

来源:性能与架构

整体结构

SpringBoot 的 actuator 提供了监控端点。

Prometheus 是监控系统,可以从 Springboot 获取监控数据,以时序数据的形式存储,并提供了监控数据的查询服务。

Grafana 是专业的 UI 仪表盘系统,支持非常多的数据源,其中就包括 Prometheus,可以便利的从中获取数据,使用仪表盘展示出来。

springboot 2 中引入了 micrometer,它可以更方便的对接各种监控系统,包括 Prometheus。

2d981f55bff8836b63d8cb5b33575db0.png

所以整体的结构就是:

  • springboot(micrometer)产生监控数据。
  • Prometheus 获取 springboot 应用的监控数据,存储,并提供数据查询服务。
  • Grafana 对接 Prometheus 数据源,调用其数据查询服务,用专业的仪表盘 UI 进行展示。

实践步骤

  • 创建应用 -- 作为监控目标,产生监控数据。
  • 集成度量库 micrometer -- 以便对接监控系统 Prometheus。
  • 部署 prometheus
  • 配置 prometheus -- 监控之前创建的 springboot 应用,了解 Prometheus 的查询服务。
  • 部署 Grafana
  • 添加 Prometheus 数据源
  • 添加 JVM 监控仪表盘 -- 展示之前 springboot 应用的 JVM 状态。
  • 自定义监控指标 -- 自有的监控指标都是底层基础数据,业务相关指标需要我们自己写代码。
  • 动态变更监控目标 -- 如果监控目标发生变动就改一次 Prometheus 的配置文件,并重新启动,这是不适合的,需要使用动态配置的方式。

1. 创建应用 集成 micrometer

创建一个最简的 springboot 应用,添加 micrometer 依赖。

pom.xml :

<?xml version="1.0" encoding="UTF-8"?>  4.0.0org.springframework.bootspring-boot-starter-parent2.2.4.RELEASEcom.examplespringboot2demo0.0.1-SNAPSHOTspringboot2demoDemo project for Spring Boot1.8org.springframework.bootspring-boot-starter-actuatororg.springframework.bootspring-boot-starter-webio.micrometermicrometer-registry-prometheus1.1.4org.springframework.bootspring-boot-starter-testtestorg.junit.vintagejunit-vintage-engineorg.springframework.bootspring-boot-maven-plugin

application.properties

spring.application.name=springboot2demo# 打开所有 Actuator 服务management.endpoints.web.exposure.include=* # 将应用名称添加到计量器的 tag 中去# 以便 Prometheus 根据应用名区分不同服务management.metrics.tags.application=${spring.application.name}

在启动类中添加Bean,用于监控JVM性能指标:

package com.example.springboot2demo;import io.micrometer.core.instrument.MeterRegistry;import org.springframework.beans.factory.annotation.Value;import org.springframework.boot.SpringApplication;import org.springframework.boot.actuate.autoconfigure.metrics.MeterRegistryCustomizer;import org.springframework.boot.autoconfigure.SpringBootApplication;import org.springframework.context.annotation.Bean;@SpringBootApplicationpublic class Springboot2demoApplication {      public static void main(String[] args) {            SpringApplication.run(Springboot2demoApplication.class, args);      }    @Bean    MeterRegistryCustomizer configurer(              @Value("${spring.application.name}") String applicationName) {          return (registry) -> registry.config().commonTags("application", applicationName);    }}

启动服务。

查看监控端点信息:

beb23687ce9df0e1335e74e707d45ac3.png

2. 部署 Prometheus

官网:

https://prometheus.io/

可以下载安装包来安装,但下载速度极其慢,几乎下载不了。

可以使用 docker 部署,因为国内有docker镜像,所以速度很快。

docker 方式启动:

$ docker run --name prometheus -d -p 127.0.0.1:9090:9090 prom/prometheus

执行完成后就OK了,可以看一下 Prometheus 的界面。

http://localhost:9090/targets 是监控目标列表页:

1538666ab5d912ef31f540c876a69216.png

http://localhost:9090/graph 是查询控制台,也有简单的图表展示:

d47aeba84894e622c2f4a4dce7ffb111.png

现在还没对接应用,后面对接之后可以看到详细的内容。

3. Prometheus + Springboot应用

监控应用,需要在 Prometheus 配置文件中添加应用的相关信息。

配置文件在容器中的路径:/etc/prometheus。

查看一下配置文件的默认内容:

$ docker exec -it [容器ID] cat /etc/prometheus/prometheus.yml
4370f79bcc4ad640a694c58e6d1cdd71.png

红框内是我们要关注的部分,按照这个形式添加我们的应用即可。

需要添加的内容为:

- job_name: 'springboot_app'    scrape_interval: 5s    metrics_path: '/actuator/prometheus'    static_configs:      - targets: ['192.168.31.6:8080']        "labels": {              "instance": "springboot2-A",                "service": "springboot2-A-service"        }

metrics_path 指定监控端点的路径。

targets 指定应用的IP端口,这里使用了IP,没有使用localhost,因为 Prometheus 是容器运行的,如果使用 localhost 就会访问容器内部。

配置不是直接在容器内部修改,可以把容器内部的配置文件拷贝出来一份,修改后,重启启动容器,挂载本地修改过的配置文件。

拷贝容器中的配置文件:

$ docker cp [容器ID]:/etc/prometheus/prometheus.yml .

修改配置文件,添加配置,最终的内容:

# my global configglobal:  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.  # scrape_timeout is set to the global default (10s).# Alertmanager configurationalerting:  alertmanagers:  - static_configs:    - targets:      # - alertmanager:9093# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.rule_files:  # - "first_rules.yml"  # - "second_rules.yml"# A scrape configuration containing exactly one endpoint to scrape:# Here it's Prometheus itself.scrape_configs:  # The job name is added as a label `job=` to any timeseries scraped from this config.  - job_name: 'prometheus'    # metrics_path defaults to '/metrics'    # scheme defaults to 'http'.    static_configs:    - targets: ['localhost:9090']    - job_name: 'springboot_app'    scrape_interval: 5s    metrics_path: '/actuator/prometheus'    static_configs:      - targets: ['192.168.31.6:8080']        "labels": {              "instance": "springboot2-A",                "service": "springboot2-A-service"        }

停掉之前的容器,重新启动:

$ docker run --name prometheus -d       -p 9090:9090         -v [PATH]/prometheus.yml:/etc/prometheus/prometheus.yml         prom/prometheus

访问监控列表页 http://localhost:9090/targets 就可以看到我们的应用了:

0eac133b322dbba3e81d357c899d2bfc.png

点击端点链接,可以看到监控数据,例如:

acee4b9d83d601daffbe8a4a30ec8880.png

进入查询控制台页面 http://localhost:9090/graph,可以查询一个指标,例如 http_server_requests_seconds_sum,效果:

36a1cc91e7d1075a29abe6fce4173c03.png

4. 部署 Grafana

docker方式运行:

$ docker run -d       -p 3000:3000         --name=grafana         grafana/grafana

启动后,访问:http://localhost:3000,默认用户名密码 admin/admin。

3211038652eb93e7e0dbe8535f43fbb0.png
e2dd983edd1f47aa8078d2a1bc4a9885.png

5. 添加 Prometheus 数据源

05ef66f76ac636e56c4d6b7725cb721a.png
ef0a648e4dc8a99bc125f7e96664e31c.png
354a509ee0f4ce8e8b6746321c0053b0.png

6. 展示应用的 JVM 信息

Grafana 中已经有现成的 JVM 仪表盘,我们直接导入使用即可。

这个仪表盘的编号为 4701。

9202b95630baa79b604399b32bf0b562.png
239d646bc6013d0630692fc7a5242542.png
9c392cadcb0503a0ab41e0119e74124a.png
75ebb2e5b0eded8dd6004872288d3949.png

至此,Prometheus + Grafana + Springboot 的整体流程已经跑通了。

但是,这些指标都是底层通用指标,在业务层面一定会有个性需求,下面我们自己定义一些监控指标。

7. 自定义监控指标

需求:监控所有接口的请求次数。

应用中添加依赖:

org.aspectjaspectjrt1.9.4org.aspectjaspectjweaver1.9.4cglibcglib3.2.12

使用AOP方式对接口请求计数:

package com.example.springboot2demo;import io.micrometer.core.instrument.Counter;import io.micrometer.core.instrument.MeterRegistry;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.AfterReturning;import org.aspectj.lang.annotation.Aspect;import org.aspectj.lang.annotation.Before;import org.aspectj.lang.annotation.Pointcut;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Component;import javax.annotation.PostConstruct;@Component@Aspectpublic class APICounterAop {      @Pointcut("execution(public * com.example.springboot2demo.*.*(..))")      public void pointCut() {      }      ThreadLocal startTime = new ThreadLocal<>();    @Autowired    MeterRegistry registry;    private Counter counter;    @PostConstruct    private void init() {          counter = registry.counter("requests_total", "status", "success");    }    @Before("pointCut()")    public void doBefore(JoinPoint joinPoint) throws Throwable {          System.out.println("do before");          counter.increment();   //请求计数    }    @AfterReturning(returning = "returnVal", pointcut = "pointCut()")    public void doAfterReturning(Object returnVal) {          System.out.println("do after");    }}

创建一个测试接口:

package com.example.springboot2demo;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;@RestControllerpublic class TestController {      @RequestMapping("/hello")      public String hello() {            return "hello";      }}

重启应用,多访问几次测试接口,然后查看 Prometheus 中的应用监控端点页面,就可以看到监控结果:

7ffe4a011550a36d711357abbd601d09.png

然后,我们把这个指标在 Grafana 中显示出来。

8b287689586c8775e9504488b93c1107.png
aa86fe3475f38e34ec80a7da55bbc014.png

8. 动态变更监控目标

上面 Prometheus 配置文件中定义的监控目标使用的是静态方式,改配置文件后需要重启。

如果服务变更了,或者增加服务了,经常重启 Prometheus 肯定不合适。

Prometheus 提供了动态加载的方式,把服务信息放到一个单独的文件中,Prometheus 配置中指定这个外部文件,内容变化后,Prometheus 就会自动重新加载。

服务信息配置文件例如:

[      {            "targets": [                  "192.168.31.6:8080"            ],            "labels": {                  "instance": "springboot2-A",                  "service": "springboot2-A-service"            }      }]

Prometheus 配置文件中的写法:

...    - job_name: 'springboot_app'    scrape_interval: 5s    metrics_path: '/actuator/prometheus'    file_sd_configs:   - files:        - /home/*.json        refresh_interval: 1m

启动 Prometheus 容器时要挂载这个服务信息配置文件的目录:

$ docker run --name prometheus -d -p 9090:9090   -v [PATH]/prometheus.yml:/etc/prometheus/prometheus.yml     -v [PATH]:/home prom/prometheus
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
微服务是什么?微服务是用于构建应用程序的架构风格,一个大的系统可由一个或者多个微服务组成,微服务架构可将应用拆分成多个核心功能,每个功能都被称为一项服务,可以单独构建和部署,这意味着各项服务在工作和出现故障的时候不会相互影响。为什么要用微服务?单体架构下的所有代码模块都耦合在一起,代码量大,维护困难,想要更新一个模块的代码,也可能会影响其他模块,不能很好的定制化代码。微服务中可以有java编写、有Python编写的,他们都是靠restful架构风格统一成一个系统的,所以微服务本身与具体技术无关、扩展性强。大型电商平台微服务功能图为什么要将SpringCloud项目部署到k8s平台?SpringCloud只能用在SpringBoot的java环境中,而kubernetes可以适用于任何开发语言,只要能被放进docker的应用,都可以在kubernetes上运行,而且更轻量,更简单。SpringCloud很多功能都跟kubernetes重合,比如服务发现,负载均衡,配置管理,所以如果把SpringCloud部署到k8s,那么很多功能可以直接使用k8s原生的,减少复杂度。Kubernetes作为成熟的容器编排工具,在国内外很多公司、世界500强等企业已经落地使用,很多中小型公司也开始把业务迁移到kubernetes中。kubernetes已经成为互联网行业急需的人才,很多企业都开始引进kubernetes技术人员,实现其内部的自动化容器云平台的建设。对于开发、测试、运维、架构师等技术人员来说k8s已经成为的一项重要的技能,下面列举了国内外在生产环境使用kubernetes的公司: 国内在用k8s的公司:阿里巴巴、百度、腾讯、京东、360、新浪、头条、知乎、华为、小米、富士康、移动、银行、电网、阿里云、青云、时速云、腾讯、优酷、抖音、快手、美团等国外在用k8s的公司:谷歌、IBM、丰田、iphone、微软、redhat等整个K8S体系涉及到的技术众多,包括存储、网络、安全、监控、日志、DevOps、微服务等,很多刚接触K8S的初学者,都会感到无从下手,为了能让大家系统地学习,克服这些技术难点,推出了这套K8S架构师课程。Kubernetes的发展前景 kubernetes作为炙手可热的技术,已经成为云计算领域获取高薪要掌握的重要技能,在招聘网站搜索k8s,薪资水平也非常可观,为了让大家能够了解k8s目前的薪资分布情况,下面列举一些K8S的招聘截图: 讲师介绍:  先超容器云架构师、IT技术架构师、DevOps工程师,曾就职于世界500强上市公司,拥有多年一线运维经验,主导过上亿流量的pv项目的架构设计和运维工作;具有丰富的在线教育经验,对课程一直在改进和提高、不断的更新和完善、开发更多的企业实战项目。所教学员遍布京东、阿里、百度、电网等大型企业和上市公司。课程学习计划 学习方式:视频录播+视频回放+全套源码笔记 教学服务:模拟面试、就业指导、岗位内推、一对一答疑、远程指导 VIP终身服务:一次购买,终身学习课程亮点:1. 学习方式灵活,不占用工作时间:可在电脑、手机观看,随时可以学习,不占用上班时间2.老师答疑及时:老师24小时在线答疑3. 知识点覆盖全、课程质量高4. 精益求精、不断改进根据学员要求、随时更新课程内容5. 适合范围广,不管你是0基础,还是拥有工作经验均可学习:0基础1-3年工作经验3-5年工作经验5年以上工作经验运维、开发、测试、产品、前端、架构师其他行业转行做技术人员均可学习课程部分项目截图   课程大纲 k8s+SpringCloud全栈技术:基于世界500强的企业实战课程-大纲第一章 开班仪式老师自我介绍、课程大纲介绍、行业背景、发展趋势、市场行情、课程优势、薪资水平、给大家的职业规划、课程学习计划、岗位内推第二章 kubernetes介绍Kubernetes简介kubernetes起源和发展kubernetes优点kubernetes功能kubernetes应用领域:在大数据、5G、区块链、DevOps、AI等领域的应用第三章  kubernetes中的资源对象最小调度单元Pod标签Label和标签选择器控制器Replicaset、Deployment、Statefulset、Daemonset等四层负载均衡器Service第四章 kubernetes架构和组件熟悉谷歌的Borg架构kubernetes单master节点架构kubernetes多master节点高可用架构kubernetes多层架构设计原理kubernetes API介绍master(控制)节点组件:apiserver、scheduler、controller-manager、etcdnode(工作)节点组件:kube-proxy、coredns、calico附加组件:prometheus、dashboard、metrics-server、efk、HPA、VPA、Descheduler、Flannel、cAdvisor、Ingress     Controller。第五章 部署多master节点的K8S高可用集群(kubeadm)第六章 带你体验kubernetes可视化界面dashboard在kubernetes中部署dashboard通过token令牌登陆dashboard通过kubeconfig登陆dashboard限制dashboard的用户权限在dashboard界面部署Web服务在dashboard界面部署redis服务第七章 资源清单YAML文件编写技巧编写YAML文件常用字段,YAML文件编写技巧,kubectl explain查看帮助命令,手把手教你创建一个Pod的YAML文件第八章 通过资源清单YAML文件部署tomcat站点编写tomcat的资源清单YAML文件、创建service发布应用、通过HTTP、HTTPS访问tomcat第九章  kubernetes Ingress发布服务Ingress和Ingress Controller概述Ingress和Servcie关系安装Nginx Ingress Controller安装Traefik Ingress Controller使用Ingress发布k8s服务Ingress代理HTTP/HTTPS服务Ingress实现应用的灰度发布-可按百分比、按流量分发第十章 私有镜像仓库Harbor安装和配置Harbor简介安装HarborHarbor UI界面使用上传镜像到Harbor仓库从Harbor仓库下载镜像第十一章 微服务概述什么是微服务?为什么要用微服务?微服务的特性什么样的项目适合微服务?使用微服务需要考虑的问题常见的微服务框架常见的微服务框架对比分析第十二章 SpringCloud概述SpringCloud是什么?SpringCloud和SpringBoot什么关系?SpringCloud微服务框架的优缺点SpringCloud项目部署到k8s的流程第十三章 SpringCloud组件介绍服务注册与发现组件Eureka客户端负载均衡组件Ribbon服务网关Zuul熔断器HystrixAPI网关SpringCloud Gateway配置中心SpringCloud Config第十四章 将SpringCloud项目部署到k8s平台的注意事项如何进行服务发现?如何进行配置管理?如何进行负载均衡?如何对外发布服务?k8s部署SpringCloud项目的整体流程第十五章 部署MySQL数据库MySQL简介MySQL特点安装部署MySQL在MySQL数据库导入数据对MySQL数据库授权第十六章 将SpringCLoud项目部署到k8s平台SpringCloud的微服务电商框架安装openjdk和maven修改源代码、更改数据库连接地址通过Maven编译、构建、打包源代码在k8s中部署Eureka组件在k8s中部署Gateway组件在k8s中部署前端服务在k8s中部署订单服务在k8s中部署产品服务在k8s中部署库存服务第十七章 微服务的扩容和缩容第十八章 微服务的全链路监控什么是全链路监控?为什么要进行全链路监控?全链路监控能解决哪些问题?常见的全链路监控工具:zipkin、skywalking、pinpoint全链路监控工具对比分析第十九章 部署pinpoint服务部署pinpoint部署pinpoint agent在k8s中重新部署带pinpoint agent的产品服务在k8s中重新部署带pinpoint agent的订单服务在k8s中重新部署带pinpoint agent的库存服务在k8s中重新部署带pinpoint agent的前端服务在k8s中重新部署带pinpoint agent的网关和eureka服务Pinpoint UI界面使用第二十章 基于Jenkins+k8s+harbor等构建企业级DevOps平台第二十一章 基于Promethues+Alert+Grafana搭建企业级监控系统第二十二章 部署智能化日志收集系统EFK 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值