架构师之路----一步步搭建日志监控系统（Spring+SpringMVC+Redis+ELK）

最新推荐文章于 2021-04-21 21:09:04 发布

weixin_33725272

最新推荐文章于 2021-04-21 21:09:04 发布

阅读量178

点赞数

文章标签： java 测试数据库

原文链接：https://my.oschina.net/u/1000241/blog/844651

版权

2019独角兽企业重金招聘Python工程师标准>>>

原文地址

https://my.oschina.net/u/1000241/blog/844651

技术选型

spring
spring mvc
redis
logback
ELK

开发web工程搭建

通过maven创建一个基于spring mvc的web工程，启动之后成功显示hello world（过程略）。

pom文件

<!--spring-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <!--spring-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>${spring.version}</version>
        </dependency>

        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context</artifactId>
            <version>${spring.version}</version>
        </dependency>

        <!--Spring Web + Spring MVC-->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-web</artifactId>
            <version>${spring.version}</version>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
            <version>${spring.version}</version>
        </dependency>

构建成功

项目架构

引入logback进行日志输出

本次日志组件使用的是logback；

pom文件

        <!--logback-->
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.1.3</version>
        </dependency>
        <dependency>
            <groupId>org.logback-extensions</groupId>
            <artifactId>logback-ext-spring</artifactId>
            <version>0.1.2</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>jcl-over-slf4j</artifactId>
            <version>1.7.12</version>
        </dependency>

        <!--logstash begin -->
        <dependency>
            <groupId>com.cwbase</groupId>
            <artifactId>logback-redis-appender</artifactId>
            <version>1.1.5</version>
        </dependency>

logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <appender name="LOGSTASH" class="com.cwbase.logback.RedisAppender">
        <source>SpringELK</source>
        <type>dev-type</type>
        <tags>dev</tags>
        <host>127.0.0.1</host>
        <port>6379</port>
        <key>logstash</key>
    </appender>

    <root level="DEBUG">
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

由于项目比较小，采用了日志写入redis，大型项目可参考将redis替换为kafka。商业项目可用logstash监听nginx access log，定时将日志上传kafka集群。

如log4j将日志发送到logstash：

#输出日志到logstash
log4j.appender.logstash=org.apache.log4j.net.SocketAppender
log4j.appender.logstash.RemoteHost=127.0.0.1
log4j.appender.logstash.port=4560
log4j.appender.logstash.ReconnectionDelay=60000
log4j.appender.logstash.LocationInfo=true

logstash input配置：

input {
    log4j {
        host => "127.0.0.1"
        port => 4560
    }
}

logstash有两个作用：

前端logstash做日志收集代理，作用同flume；
后端logstash做解析日志，连接es建立索引；

日志输出

    private Logger log = LoggerFactory.getLogger(HomeController.class);

    @RequestMapping(value = "/hello", method = RequestMethod.GET)
    public String hello() {
        log.error("Main错误");
        return "/home/hello";
    }