日志中心方案

日志中心方案

一、技术架构

技术架构图如下：

https://www.processon.com/diagraming/6052ee05637689019de701cc

1、业务服务层

改造业务服务层，添加日志依赖Jar包，构造全局traceId，业务服务生成每次操作的traceId，并将其更新到操作的业务表中，发送1条业务消息，包含当前操作的操作人相关信息。
链路追踪将一次完整的业务处理过程处理成多接口调用轨迹。

2、日志中心平台

1)、CDC

变更数据捕获（Change Data Capture）技术，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。

a)、Debezium

b)、FlinkDCD

2)、DW

a)、数仓存储

原始数据入ODS层，结合DIM层的基础数据，将无意义的数据转换成业务数据，入DWS进行OLAP分析

b)、BI工具

通过BI工具将数据展示出来，也可通过接口将数据展示在业务系统中。

【参考】

1、Flink CDC+Kafka 加速业务实时化
Flink CDC+Kafka 加速业务实时化

2、debazium
Debezium

3、Flink CDC 原理、实践和优化
Flink CDC 原理、实践和优化
一文进入Flink CDC 的世界
一文进入Flink CDC 的世界_flink cdd_Alienware^的博客-CSDN博客

4、Skywalking
Apache SkyWalking

5、ClickHouse
Fast Open-Source OLAP DBMS - ClickHouse
GitHub - ClickHouse/ClickHouse: ClickHouse® is a free analytics DBMS for big data

6、FlinkCDC DOC
CDC Connectors for Apache Flink® — CDC Connectors for Apache Flink® documentation

7、SpringBoot整合Debezium CDC同步数据至目标数据库
SpringBoot整合Debezium CDC同步数据至目标数据库_debezium springboot_BasicLab基础架构实验室的博客-CSDN博客

8、数据同步工具之FlinkCDC/Canal/Debezium对比
数据同步工具之FlinkCDC/Canal/Debezium对比

9、SpringBoot 日志脱敏，开源组件太强了
SpringBoot 日志脱敏，开源组件太强了

10、【数仓】FLink+CK
【数仓】FLink+CK_Learn Forever的博客-CSDN博客

11、我们已经不用AOP做操作日志了！
我们已经不用AOP做操作日志了！_程序员小灰的博客-CSDN博客

12、全链路追踪选型对比
全链路追踪选型对比_链路追踪对比_猴子哥哥1024的博客-CSDN博客

13、sleuth+zipkin+kafka+elasticsearch搭建分布式链路追踪系统（一）
sleuth+zipkin+kafka+elasticsearch搭建分布式链路追踪系统（一）_sharedCode的博客-CSDN博客

14、Flink:史上最详细的介绍(一)[简介]
Flink:史上最详细的介绍(一)[简介]_weixin_43563705的博客-CSDN博客

15、数据仓库分层DWD、DWB、DWS
数据仓库分层DWD、DWB、DWS_dwd dws_CarloPan的博客-CSDN博客

16、SpringCloud Alibaba实战第五课 链路追踪sleuth与skywalking
SpringCloud Alibaba实战第五课 链路追踪sleuth与skywalking_sleuth skywalking_办公模板库 素材蛙的博客-CSDN博客