微服务架构开发实战日志与监控：微服务日志管理将面临的挑战(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

微服务架构所带来的直观结果，就是微服务实例数量的增长，伴随而来的就是日志文件的递增。

在微服务架构里，每个微服务实例都是独立部署的，日志文件分散在不同的主机里。如果还是按照传统的运维方式，登录到应用程序所在的主机来查看日志文件，这种方式基本上不可能在微服务架构中使用。所以需要有一套可以管理几种日志文件的独立系统。

日志容易丢失

======

从传统部署移到云部署时，应用程序不再锁定到特定的预定义机器。虚拟机和容器与应用程序之间并没有强制的关联关系，这意味着用于部署的机器可能会随时更改。特别是像Docker这样的容器，通常来说都是非常短暂的，这基本上意味着不能依赖磁盘的持久状态。一旦容器停止并重新启动，写入磁盘的日志文件将会丢失。所以不能依靠本地机器的磁盘来写日志文件。

事务跨越了多个服务

=========

在微服务架构中，微服务实例将运行在孤立的物理或虚拟机上。在这种情况下，跟踪跨多个微服务的端到端事务几乎是不可能的。跨多个微服务的事务如图12-1所示。

在图12-1中，每个微服务都将日志发送到本地文件系统。在这种情况下，事务1先调用应用1,然后调用应用3。由于应用Ⅰ和应用3运行在不同的物理机器上，它们都将各自的日志写入不同的日志文件。这使得难以关联和理解端到端的事务处理流程。另外，由于应用Ⅰ和应用3的两个实例在两台不同的机器上运行，因此很难实现服务级别的日志聚合，最终导致了日志文件的碎片化。

---

日志集中化的意义

========

为了解决前面提到的日志管理的挑战，首先需要对传统的日志解决方案进行认真的反思。因此需要新的日志管理解决方案，除了解决上述挑战外，还需要考虑以下的功能。

• 能够收集所有日志消息并在日志消息之上运行分析。

• 能够关联和跟踪端到端的事务。

• 能够保存更长时间的日志信息，以便进行趋势分析和预测。

• 能够消除对本地磁盘系统的依赖。

• 能够聚合来自多个来源的日志信息，如网络设备、操作系统、微服务等。

解决这些问题的方法是集中存储和分析所有日志消息，而不考虑日志的来源。这种新的日志解决方案中采用的基本原则是将日志存储和处理从执行环境中分离出来。

在集中式日志解决方案中，日志消息将从执行环境发送到中央大数据存储。日志分析和处理将使用大数据解决方案进行处理。因为相比与在微服务执行环境中存储和处理大数据而言，大数据解决方案更适合及更有效地存储和处理大量的日志消息。

集中化日志管理的系统架构

============

如图12-2所示，集中化日志管理系统解决方案中包含了许多组件。

这些组件如下。

• 日志流:这些是来自源系统的日志消息流。源系统可以是微服务，也可以是其他应用程序甚至网络设备。在典型的基于Java的系统中，这相当于对Log4j日志消息进行流式传输。

• 日志托运:这些组件负责收集来自不同来源或端点的日志消息。然后，日志托运组件将这些消息发送到另一个端点，如写入数据库、推送到仪表板，或者将其发送到流处理端点以供进一步实时处理。

• 日志存储:这是所有日志消息将被存储在能够用于实时分析的地方。通常情况下，日志存储将是能够处理大量数据的NoSQL数据库，如HDFS等。

• 日志流处理器:这个组件能够分析实时日志事件，以便快速做出决策。流处理器采取如仪表板发送信息、发送警报等操作。在具备自愈能力系统的情况下，流处理器甚至可以采取行动来纠正这些问题。

• 日志仪表板:该仪表板用于显示日志分析结果窗口。这些仪表板能够方便运维和管理人员直观地查看日志分析记录。

最后

做任何事情都要用心，要非常关注细节。看起来不起眼的、繁琐的工作做透了会有意想不到的价值。
当然要想成为一个技术大牛也需要一定的思想格局，思想决定未来你要往哪个方向去走, 建议多看一些人生规划方面的书籍,多学习名人的思想格局，未来你的路会走的更远。

更多的技术点思维导图我已经做了一个整理，涵盖了当下互联网最流行99%的技术点，在这里我将这份导图分享出来，以及为金九银十准备的一整套面试体系，上到集合，下到分布式微服务

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
图片转存中…(img-B3Z1h9C6-1713331527397)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！