微服务架构开发实战：ElasticStack实现日志集中化

======

日志流处理器可用于处理日志流。例如，如果连续收到404错误作为对特定服务调用的响应，则意味着该服务出现问题。这种情况必须尽快处理。流处理器在这种情况下非常方便，因为与传统的反应分析相比，流处理器能够对某些事件流做出及时响应。

日志流处理器的典型架构是将Flume和Kafka结合在一起，并与Storm或Spark Streaming结合使用。Log4j有Flume appender，可以用于收集日志消息。这些消息将被推送到分布式Kafka消息队列中。流处理器从Kafka收集数据，并在发送给Elasticsearch和其他日志存储之前进行处理。

Spring Cloud Stream和Spring Cloud Data Flow也可用于构建日志流处理器。

日志仪表板

=====

日志分析最常用的仪表板是使用Elasticsearch数据存储的Kibana。

Graphite和 Grafana也被用来显示日志分析报告。

---

Elastic Stack 实现日志集中化

=====================

本节将基于Elastic Stack 6.0来实现日志的集中化管理。Elastic Stack原来称为“ELK”。“ELK”是3个开源项目（Elasticsearch、Logstash和Kibana）的首字母缩写。

有关ELK Stack 与 Elastic Stack 的异同点可以参阅笔者的博客（https:/waylau.com/elk-statck-and-elastic-stack/ )。

Elasticsearch的安装和使用

===================

( 1）下载Elasticsearch，网址为

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.zipo

(2）解压。解压安装包为elasticsearch-6.0.0.zip。

( 3）运行。执行:.lbinlelasticsearch。

(4）访问。网址为http://localhost:9200/，能看到如下界面显示。

“name”:“DwV60B2”,

“cluster name”:“elasticsearch”，

“cluster uuid”:“FOIG6cxCSlesYal7jdAxqg”,

“version”:{

“number”:“6.0.0”，

“build_hash” :“8f0685b”，

“build date”:“2017-11-10T18:41:22.859z”，

“build_snapshot” :false,

“lucene_version”:“7.0.1”，

“minimum_ wire_compatibility_version” :“5.6.0”，

“minimumindex compatibility version”:“5.0.0”}

“tagline”:“You Know, for Search”

}

Kibana的安装和使用

============

(1）下载Kibana，网址为

https://artifacts.elastic.co/downloads/kibana/kibana-6.0.O-windows-x86_64.zipo.

(2）解压。解压安装包为kibana-6.0.0-windows-x86_64.zip。

(3）运行。执行: .lbinlkibana。

(4）访问。网址为http://localhost:5601/，能看到Kibana的管理界面。

Logstash的安装和使用

==============

(1）下载Logstash，网址为

https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.zip。

( 2）解压。解压安装包为logstash-6.0.0.zip。

( 3）运行。执行:.1bin\logstash。

综合示例演示

======

1.创建hello-world-log

在本节hello-world 应用的基础上，创建一个hello-world-log应用作为示例。

其中，须改写HelloController.java。

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.RestController;

import org.slf4j-Logger;

import org.slf4j.LoggerFactory;

/**

*Hello controller.

*@since 1.0.0 2017年12月24日

• @author Way Lau

*/

@RestController

public class HelloController {

private static final Logger logger = LoggerFactory.getLogger(Hello

Controller.class）;

@RequestMapping(“/hello”）

public String hello(）

logger.info(“hello world”）;

return “Hello World! welcome to visit waylau.com!”;

}

}

主要修改项在于添加了一行日志。日志非常简单，记录了一条“hello world”日志。

⒉.添加Logback JSON编码器

Logback JSON编码器用于创建与Logstash一起使用的JSON格式的日志。

dependencies {

//…

//添加Logback JSON编码器

compile(‘net.logstash.logback:logstash-logback-encoder:4.11’)

//…

}

3.添加logback.xml

在应用的src/main/resources目录下，创建logback.xml文件。

<?xml version="1.0"encoding="UTF-8"?>

<include resource="org/springframework/boot/logging/logback/

defaults.xml"/>

<include

resource="org/springframework/boot/logging/logback/console-

appender . xml"/>

<appender name=“stash”

class=“net.logstash.logback.appender.LogstashTcpSocketAppender”

localhost:4560

<encoder class=“net.logstash.logback.encoder.LogstashEncoder”

/>

该文件会覆盖Spring Boot中默认的配置项。

4.创建logstash.conf

在Logstash的bin目录下，创建logstash.conf文件，用于配置Logstash。

input {

tcp {

port=>4560

host=>localhost

}

output {

elasticsearch hosts => [“localhost: 9200”]}

stdout codec =>rubydebug }

)

5.启动Elastic Stack

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
//img-community.csdnimg.cn/images/e5c14a7895254671a72faed303032d36.jpg" alt=“img” style=“zoom: 33%;” />

最后

文章中涉及到的知识点我都已经整理成了资料，录制了视频供大家下载学习，诚意满满，希望可以帮助在这个行业发展的朋友，在论坛博客等地方少花些时间找资料，把有限的时间，真正花在学习上，所以我把这些资料，分享出来。相信对于已经工作和遇到技术瓶颈的朋友们，在这份资料中一定都有你需要的内容。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！