springboot 日志收集_springboot整合elk查看日志(干货)

首先了解ELK是什么?

ELK是由三个开源工具搭建而成一个系统,分别是:

ElasticSearch: ES是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

Logstash:一个完全开源的工具,可以对日志进行收集、分析、并将其存储供以后使用。

Kibana:一个开源和免费的工具,他Kibana可以为Logstash和ES提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要数据日志。

ELK下载地址:(我是多宠溺你)

ElasticSearch:官网下载:https://www.elastic.co/downloads/elasticsearch

Logstash:官网下载:https://www.elastic.co/downloads/logstash

cmd切换Logstash的 /bin目录下 安装插件

logstash-plugin install logstash-codec-json_lines

在其/config目录我们可以按自己的要求来新建一个配置文件,在此目录新建一个logstach-test.conf

(

知识普及:

input{}中主要是配置logstash监听的端口,后面我们在项目中配置日志向这个端口传输,logstash就会收集

output{}则配置ElasticSearch的地址,logstash将收集的日志向ES的地址进行输出,

index 可以指定索引名, stdout是标准输出,会将收集到的日志进行输出)

input {

tcp {

port => 5888

type => "test"

codec => json_lines

}

}

output {

elasticsearch {

hosts => ["localhost:9200"]

index => "logstash-%{type}"

}

stdout { codec => rubydebug }

}

命令行中切换到Logstash的 /bin目录下,输入logstash -f ../config/logstash-test.conf启动

Kibana:官网下载:https://www.elastic.co/downloads/kibana

启动则直接在/bin目录双击kibana.bat

来来来(创建springboot项目,自己导包)

添加logstas

net.logstash.logback

logstash-logback-encoder

4.7

自己写个控制层。。。。。。。。

创建一个yml文件

spring: application: name: microservice-simple-provider-user-trace-elk

在resources目录下新建一个logback-spring.xml

localhost:5888

启动项目;进入Kibana页面;

点击发现添加索引,在输入框输入logstash-test-》过滤字段选择时间戳,并点击创建索引模式》点击发现,看到刚刚新建的索引模式的数据。

以上就是springboot整合ELK

记录学习,每天进步一点点的橘子大王。

0be05e1858844419a5663295255cc5ff
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
项目一Spark离线处理本项目来源于企业级电商网站的大数据统计分析平台,该平台以 Spark 框架为核心,对电商网站的日志进行离线和实时分析。 该大数据分析平台对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行分析,根据平台统计出来的数据,辅助公司中的 PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。 本项目使用了 Spark 技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL 和 Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计 4 个业务模块。通过合理的将实际业务模块进行技术整合与改造,该项目几乎完全涵盖了 Spark Core、Spark SQL 和 Spark Streaming 这三个技术框架中大部分的功能点、知识点,学员对于 Spark 技术框架的理解将会在本项目中得到很大的提高。 项目二Spark实时处理项目简介对于实时性要求高的应用,如用户即时详单查询,业务量监控等,需要应用实时处理架构项目场景对于实时要求高的应用、有对数据进行实时展示和查询需求时项目技术分别使用canal和kafka搭建各自针对业务数据库和用户行为数据的实时数据采集系统,使用SparkStreaming搭建高吞吐的数据实时处理模块,选用ES作为最终的实时数据处理结果的存储位置,并从中获取数据进行展示,进一步降低响应时间。 

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值