ELK收集微服务日志学习

最新推荐文章于 2024-07-25 17:49:34 发布
最新推荐文章于 2024-07-25 17:49:34 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： 其他 文章标签： elk 微服务 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32979219/article/details/127207923
版权

1. 资源准备

1.1 版本兼容性

官网地址：https://www.elastic.co/cn/support/matrix#matrix_compatibility
在这里插入图片描述

我使用的都是6.8.3版本

1.2 镜像资源

由于资源下载是外网会比较慢，推荐使用华为云提供的镜像:https://mirrors.huaweicloud.com/
elasticsearch-6.8.3.tar、kibana-6.8.3-linux-x86_64.tar、logstash-6.8.3.tar

1.3 资源规划

系统主机ip部署内容
centso 7.9192.168.40.131elasticsearch+kibana+logstash
centso 7.9192.168.40.133微服务

2. 架构设计

2.1 监听日志

logstash和微服务部署在一起，监听服务日志的输出目录：
在这里插入图片描述

优点：性能高；缺点：占用资源高（logstash非常耗资源）

2.2 推送日志

logstash独立部署，微服务节点通过TCP向logstash发送日志：
在这里插入图片描述

优点：节省资源；缺点：性能受限于网络
本篇要实践也是基于这种架构搭建。

3. 安装elasticsearch

参考我上一篇 Elasticsearch部署

4. 安装Kibana

4.1 上传资源

将之前下载Kibana压缩包上传到服务器上，并解压：

tar -zxvf kibana-6.8.3-linux-x86_64.tar.gz

4.2 编辑kibana.yml

vim /home/kibana-6.8.3-linux-x86_64/config/kibana.yml
------------------------------------------------------
#开放默认端口号
server.port: 5601
#在服务器中,0.0.0.0指的是本机上的所有IPV4地址
server.host: 0.0.0.0
#elasticsearch地址
elasticsearch.hosts: ["http://192.168.40.131:9200"]
#设置为中文
i18n.locale: "zh-CN"

4.3 开放端口号

#开放5601端口号
firewall-cmd --zone=public --add-port=5601/tcp --permanent
-------------错误信息------------
FirewallD is not running
-------------重启防火墙----------
systemctl start firewalld
--------------重新执行-----------
firewall-cmd --zone=public --add-port=5601/tcp --permanent
#刷新防火墙，使之生效
firewall-cmd --reload
#查看开放端口号
firewall-cmd --list-ports
--------------------------
9200/tcp 5601/tcp

4.4 启动Kibana

#切换到安装目录的bin文件下
./kibana
--------------------------------------------
 log   [09:01:19.969] [warning][reporting] Generating a random key for xpack.reporting.encryptionKey. To prevent pending reports from failing on restart, please set xpack.reporting.encryptionKey in kibana.yml
  log   [09:01:19.998] [info][status][plugin:reporting@6.8.3] Status changed from uninitialized to green - Ready
  log   [09:01:20.089] [info][task_manager] Installing .kibana_task_manager index template version: 6080399.
  log   [09:01:20.146] [info][task_manager] Installed .kibana_task_manager index template: version 6080399 (API version 1)
  log   [09:01:21.247] [info][migrations] Creating index .kibana_1.
  log   [09:01:21.468] [info][migrations] Pointing alias .kibana to .kibana_1.
  log   [09:01:21.507] [info][migrations] Finished in 260ms.
  log   [09:01:21.508] [info][listening] Server running at http://0.0.0.0:5601
  log   [09:01:22.435] [info][status][plugin:spaces@6.8.3] Status changed from yellow to green - Ready
-----------------表示成功-----------------------
#推荐用后台运行方式启动
nohup sh kibana &

在浏览器上输入地址：http://192.168.40.131:5601
在这里插入图片描述

则表示安装部署成功！

5. 安装logstash

5.1 上传资源

tar -zxvf logstash-6.8.3.tar.gz

5.2 创建logstash.conf

vim /home/logstash-6.8.3/bin/logstash.conf
-----------------增加输入、输出规则---------------------
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4567
    codec => json{
			charset => "UTF-8"
		}
  }
}

output {
  elasticsearch {
    hosts => "http://192.168.40.131:9200"
    index => "%{[appName]}-%{+YYYY.MM.dd}"
	document_type => access
	#关闭模板管理，使用es通过API创建的模板
	manage_template => false
	#es中模板的名称
	template_name => "message"
  }
}

5.3 开放端口号

#开放4567端口号
firewall-cmd --zone=public --add-port=4567/tcp --permanent
firewall-cmd --zone=public --add-port=9600/tcp --permanent
#刷新防火墙，使之生效
firewall-cmd --reload
#查看开放端口号
firewall-cmd --list-ports
--------------------------
9200/tcp 5601/tcp 4567/tcp 9600/tcp

5.3 启动logstash

# 切换到bin目录下 后台运行方式启动
nohup logstash -f logstash.conf &

查看logstash是否启动成功：

ps aux | grep 'logstash'

在这里插入图片描述

则说明logstash启动成功 ，至此单机版ELK搭建成功

6. 创建springboot项目

6.1 创建一个简单springboot项目

创建一个简单springboot的web项目，在启动类加上简单日志：

@SpringBootApplication
@Slf4j
public class DemoApplication {
		# 在启动类加上一些简单的日志
    public static void main(String[] args) {
        SpringApplication.run(DemoApplication.class, args);
        log.info("demo启动成功.....");

        log.info("demo输出日志.....");

        log.info("demo输出日志2.....");

        log.info("demo输出日志3.....");

        log.info("demo输出日志4.....");

        log.info("demo输出日志5.....");

        log.info("demo输出日志6.....");
    }

}

6.2 追加logback的依赖

        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>7.2</version> #版本号看你spring-boot版本
        </dependency>

6.3 创建服务yml文件

为了方便测试，创建一个非常简单的配置文件，内容如下：

server:
  port: 8090
spring:
  application:
    name: winter-test
  profiles:
    active: dev

6.4 创建logback-spring.xml

创建一个简单logback.xml,内容如下：

<?xml version="1.0" encoding="UTF-8"?>

<configuration debug="false" scan="false">
	<springProperty scop="context" name="appName" source="spring.application.name" defaultValue=""/>
	<--LOGSTASH 的日志输出格式 -->    
	<appender name = "LOGSTASH" class ="net.logstash.logback.appender.LogstashAccessTcpSocketAppender">
  			<-- LOGSTASH 服务ip和监听的端口号 -->        
				<destination>192.168.40.131:4567</destination>
        <encoder charset ="UTF-8" class ="net.logstash.logback.encoder.LogstashEncoder">
            <customFields>
                {
                "appName": "${appName}",
                "pid": "-"
                }
            </customFields>
        </encoder>
    </appender>
  	<-- 控制台的日志输出格式 -->
    <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
        <encoder charset="UTF-8">
            <!-- 输出日志记录格式 -->
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>
  	<-- 加上logback默认的base.xml -->
    <include resource = "org/springframework/boot/logging/logback/base.xml"/>
  	
    <root level="INFO">
        <appender-ref ref="LOGSTASH"/>
        <appender-ref ref="CONSOLE"/>
    </root>

</configuration>

springboot启动时默认读取logback-spring.xml文件 ，则推荐logback文件名为logback-spring.xml

6.5 启动服务

在这里插入图片描述

7. Kibana可视化

7.1 创建索引

在这里插入图片描述

在这里插入图片描述

7.2 查询日志

在这里插入图片描述

至此ELK收集微服务的日志实践成功！

吃猫的大鱼
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过elk收集微服务模块日志.doc
09-27
1.Filebeat：filebat是一个用于转发和集中日志数据的轻量级shipper。作为代理安装在服务器上，filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发给ElasticSearch或logstash进行索引。 2.Logstash：Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到存储库。 3.ElasticSearch：Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。 4.Kibana：Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack。
通过elk收集微服务模块日志
09-28
通过elk收集微服务模块日志 通过elk收集微服务模块日志
ELK 日志分析系统
最新发布
zheshijiuyue的博客
07-25 1364
了解ELk日志分析系统；安装，配置Elasticsearch日志收集；安装和配置Kibana进行日志查看。
elk收集k8s微服务日志
ApexPredator的博客
03-18 1869
elk收集k8s中部署的微服务日志
spring模拟简单的登录流程
2401_84048338的博客
04-17 939
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！” />总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友[外链图片转存中…(img-F43Rp2LS-1713336927936)]
微服务日志收集方案
qq_34244426的博客
11-27 2962
微服务日志收集方案背景设计思路架构图搭建流程 背景 公司内部使用的是springcloud,随着业务逐步扩大，微服务数据也逐步增多，运行平台不仅涉及到腾讯云，超融合，微服务散落在不同的机器上，并且都是部署在docker环境中，日志的查找对于开发运维人员来说，十分困难，还是要进行日志的统一收集管理，方便排查问题，提高效率。 设计思路 在网上看了一些思路，大体差不多，没有说哪个是最好的，主要是适合自己的，就是看下自己的资源情况，这里说的资源情况，不是说服务器，也包括自身所处的环境和技术条件。打个比方，有个方案是
_[林奕舟]基于ELK的微服务日志管理系统的设计与实现-加批注1
08-08
【基于ELK的微服务日志管理系统设计与实现】是一个针对现代互联网环境下日志管理问题的解决方案。在当今数字化时代，随着电子商务、移动互联网和社交媒体的广泛应用，用户与各种应用的交互产生了海量数据，其中大...
微服务下，使用ELK进行日志采集以及统一处理
2401_84048398的博客
04-21 898
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！内容对你有帮助，可以扫码获取！！（备注Java获取）**总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友。
[林奕舟]基于ELK的微服务日志管理系统的设计与实现1
08-08
【基于ELK的微服务日志管理系统设计与实现】 在当今互联网时代，随着电子商务、移动互联网和社交媒体的广泛应用，用户与应用的交互产生了海量数据，其中大部分以日志的形式记录下来。日志系统作为各类互联网应用的...
通过ELK+kafka采集微服务日志
不打拉东的专栏
03-28 1489
在分布式的项目中，各功能模块产生的日志比较分散，同时为满足性能要求，同一个微服务会集群化的部署，当某一次业务中报错后，如果不能确定产生的节点，那么只能逐个节点去查看日志文件，logback中RollingFileAppender，ConsoleAppender这类同步化记录器也降低系统性能，综上一些问题，可能考虑采用ELK （elasticsearch+logstash+kibana）配合消息中间件去异步采集，统一展示去解决。同样再创建一份docker-compose.yml，然后构建服务,
ELK-收集微服务日志
嘻哈王大头
12-16 1230
前面已经收集了nginx的日志了，现在来收集下微服务的日志。我这里分别收集两台服务器上的三个微服务的日志。 一 、安装filebeat 就像之前的elk一样，客户端上的filebeat也放到/usr/local/elkstack/这个目录下，并用elkstack这个用户启动。 [root@ms1 ~]# useradd elkstack [root@ms1 ~]# mkdir -p /usr/lo...
微服务性能监控与日志收集v2
01-13
微服务性能监控与日志收集v2
JAVA微服务场景下分布式日志收集排查问题实战
小杨互联网
11-19 3368
问题产生的根由？不同服务的日志存在哪里？我们怎么去排查线上问题？问题场景：我们部署的java服务可能有几十个，不同的项目里面他是看不到别的服务的日志，只有服务的返回msg消息，相比传统的单体服务来说，排查问题和解决问题的原因相对比较复杂和麻烦，我们传统的单体项目的日志存txt文本，log文件，但是项目日志的文件太大了，几个G，十几个G的时候去打开日志特别慢，很不方便。那么处理这种日志应该怎么做和设计一个日志搜索呢？
微服务十三 日志收集项目结构设计及Kafka介绍
太阳上的雨天
03-21 1055
创作不易感谢支持。 一条主写Go和PHP的小菜鸟。平常有时间喜欢自己写点东西，如有不对的地方，欢迎大佬指点。 个人博客：太阳上的雨天 地址：http://blog.caixiaoxin.cn 善于分享，希望有助他人. 非常感谢各位大佬的关注和支持 日志收集项目结构设计及Kafka介绍 项目背景 每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登录到服务器上查看即可满足，当系统机器规模巨大，登录到机器上查看几乎不现实（分布式的系统，一个系统部署在多台机器上） 解决
微服务业务日志收集方案
lipeng的博客
01-11 3398
背景 日志内容复杂多样，如何去收集有价值的日志是我们重点关注的。日志的价值其实是取决于业务操作的，不同的业务场景下相同类型的日志的价值会截然不同。 根据以往的业务实践，结合企业级的一些业务需求，我们选定关注以下几类日志。 • 跟踪日志【trace.log】 Server引擎的调试日志，用于系统维护人员定位系统运行问题使用。 • 系统日志【system.log】 大粒度的引擎运行的入口、出口的日志，...
微服务之分布式日志 ELK
笑三年-Dylen
06-04 1114
微服务之分布式日志 ELK 分布式事务 什么是分布式事务 在分布式应用中,日志被分布在不同的设备上,为了方便集中管理日志并且得到相应的预期结果,这就是分布式日志. 为什么使用分布式日志 化繁为简,提高日志处理速度 ELK ELK其实是Elasticsearch, Logstash, Kibana的首字母,通过它们的整合使用,将所有节点上的日志统一收集，管理，访问。其工作流程如下: Elasticsearch: 是个开源分布式搜索引擎 下载地址 解压并进入config目录,
【微服务】日志搜集elasticsearch+kibana+filebeat（单机）
记录开发学习笔记
01-12 911
elasticsearch+kibana+filebeat 日志搜集
【微服务】日志搜集es+kibana+filebeat+redis+logstash（单机）
记录开发学习笔记
01-11 1303
日志搜集
微服务中统一日志-ELK
热门推荐
重生之我不会写代码
12-13 3万+
ELK 是 Elasticsearch、Logstash、Kibana 的简称，准确地说是 ELKB，即 ELK + Filebeat，其中 Filebeat 是用于转发和集中日志数据的轻量级传送工具。Elasticsearch 是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能，可扩展的分布式系统。Elasticsearch 有三个配置文件：这些文件位于 config 目录中用于配置 Elasticsearch用于配置 Elasticsearch JVM 设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值