运维管理平台实践[完善中]

本篇博客是总结性质的，团队项目实际进度：开发中

一、技术架构

1.前台

vue2.x

antdesign

使用脚手架ant-design-pro实现快速搭建

2.后台

springboot2.x

(1) springboot集成hibernate、JPA、redis、rocketmq
(2) 数据库有mysql8、oracle、clickhouse
(3) ELK日志分析：elasticSearch、logstash、kibana

springcloud

实际应用集成了netflix-eureka、spring-security、spring-security-oauth2、netflix-feign、netflix-zuul、spring-config、hystrix-dashboard等

3.监控

监控架构

基于exporter+prometheus+grafana+clickhouse结构实现底层监控，即数据采集层
(1) prometheus
(2) grafana

该部分采集并提供监控数据，数据采集层的部署见我的这篇文章：
[待补充]，
数据接入服务主要涉及springboot集成clickhouse，见这篇文章：
[待补充]

4. 项目纵向架构

二、系统设计

这部分介绍业务需求相关的实体关系、原型设计。
顶层数据流图：

核心实体关系图：

功能模块图：

业务目标：

• 服务监测，采集群服务中服务器、各类服务、中间件等软硬设施的数据，与服务方协商对具体应用埋点，将数据汇聚到监控中心，通过时序数据库存储以供异常数据追溯，并提供可视化监控面板，实时显示整体服务架构的运行情况，以便拥有一定监控知识的管理人员直接管理服务群，掌控服务运行情况；

• 资产管理，对软硬设施等已有资产进行集中管理，并构建物理位置-硬件-软件的映射关系，实现资产的可视化管理，同时根据录入的信息明确资产生命周期，为管理者提供资产换代的预算报表；

• 工单管理，保证运维人员按照固定的工单流程操作系统，记录服务状态并形成汇总信息，提高运维效率，保证运维质量；

• 统计分析，从资产、监测故障、工单等维度统计得到业务的一般规律并分析预测趋势，生成报表，有助于管理者提高决策力；

• 系统管理，管理用户角色权限，为不同用户设置不同角色和权限，实现分层管理，并设置工作流使不同角色和权限的用户根据其对应的工作流程操作系统，同时管理告警配置，设置阈值和告警方式，实现自动告警功能，系统管理简化了不同类型用户对系统的操作流程；

• 整个监控运维管理平台以资产作为运维对象，服务作为监控目标，提供了从监控到管理，从管理到统计分析，再到优化的完整的监控运维流程，帮助用户管理资产和服务，提高系统的稳定性。

三、系统实现

1.搭建前后端开发框架
后端：

1. quartz

	<!--定时调度-->
     <dependency>
         <groupId>org.quartz-scheduler</groupId>
         <artifactId>quartz</artifactId>
         <version>2.2.3</version>
     </dependency>
     <dependency>
         <groupId>org.quartz-scheduler</groupId>
         <artifactId>quartz-jobs</artifactId>
         <version>2.2.3</version>
     </dependency>

2. swagger

	<dependency>
        <groupId>io.springfox</groupId>
        <artifactId>springfox-swagger2</artifactId>
        <version>2.9.2</version>
    </dependency>
    <!-- swagger-ui -->
    <dependency>
        <groupId>io.springfox</groupId>
        <artifactId>springfox-swagger-ui</artifactId>
        <version>2.9.2</version>
    </dependency>

3. lombok

	<dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.16.18</version>
        <scope>provided</scope>
    </dependency>

4. mysql

	<dependency>
	    <groupId>mysql</groupId>
	    <artifactId>mysql-connector-java</artifactId>
	    <scope>runtime</scope>
	</dependency>
	<dependency>
	    <groupId>commons-dbcp</groupId>
	    <artifactId>commons-dbcp</artifactId>
	    <version>1.4</version>
	</dependency>
	<dependency>
	    <groupId>com.alibaba</groupId>
	    <artifactId>druid-spring-boot-starter</artifactId>
	    <version>1.1.10</version>
	</dependency>

5. jpa

	<dependency>
	    <groupId>org.springframework.boot</groupId>
	    <artifactId>spring-boot-starter-data-jpa</artifactId>
	</dependency>

6. redis

	<dependency>
	    <groupId>org.springframework.boot</groupId>
	    <artifactId>spring-boot-starter-data-redis</artifactId>
	</dependency>
	
	<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
	<dependency>
	    <groupId>redis.clients</groupId>
	    <artifactId>jedis</artifactId>
	    <version>2.9.0</version>
	</dependency>

7. rocketmq

	<dependency>
	    <groupId>org.apache.rocketmq</groupId>
	    <artifactId>rocketmq-client</artifactId>
	    <version>4.3.0</version>
	</dependency>

8. log4j2

	<dependency>
	    <groupId>org.springframework.boot</groupId>
	    <artifactId>spring-boot-starter</artifactId>
	    <exclusions>
	        <exclusion>
	            <groupId>org.springframework.boot</groupId>
	            <artifactId>spring-boot-starter-logging</artifactId>
	        </exclusion>
	    </exclusions>
	</dependency>
	<dependency>
	    <groupId>org.springframework.boot</groupId>
	    <artifactId>spring-boot-starter-log4j2</artifactId>
	</dependency>
	<dependency>
	    <groupId>com.lmax</groupId>
	    <artifactId>disruptor</artifactId>
	    <version>3.4.2</version>
	</dependency>

9. QLExpress

	<dependency>
	    <groupId>com.alibaba</groupId>
	    <artifactId>QLExpress</artifactId>
	    <version>3.2.0</version>
	</dependency>

10. clickhouse

	<dependency>
	    <groupId>ru.yandex.clickhouse</groupId>
	    <artifactId>clickhouse-jdbc</artifactId>
	    <version>0.1.53</version>
	</dependency>

2.业务实现

3.难点解决
1)数据接入
2)规则引擎
3)定时刷新
4)告警提示
5)日志分析