Linux安装配置ELK日志及与SpringBoot的整合使用

最新推荐文章于 2023-08-30 10:44:03 发布
最新推荐文章于 2023-08-30 10:44:03 发布
阅读量1.9k 收藏
点赞数 1
文章标签： linux elk spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aose4578/article/details/121252160
版权

踩坑学习记录

一、下载ELK的安装包上传并解压

我这边用到的版本是7.6.1版本，ELK最好版本统一，避免版本兼容导致失败,可以在官网下载，下载可能会慢，我这里下载好了，可以直接用

1.Elasticsearch下载
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1-linux-x86_64.tar.gz

2.Logstash下载

https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz

3.Kibana下载

https://artifacts.elastic.co/downloads/kibana/kibana-7.6.1-linux-x86_64.tar.gz

上传到自定义目录：

/usr/local/src/elk

4.上传并解压

接下来使用 XShell 工具连接到服务器或者虚拟机

ES压缩包解压：进入 /usr/local/src/elk 目录
elasticsearch解压命令：tar -zxvf elasticsearch-7.6.1-linux-x86_64.tar.gz
logstash解压命令：tar -zxvf logstash-7.6.1.tar.gz
kibana解压命令：tar -zxvf kibana-7.6.1-linux-x86_64.tar.gz

解压后的文件夹修改下名字，方便输入：mv elasticsearch-7.6.1 elasticsearch7
解压后的文件夹修改下名字，方便输入：mv kibana-7.6.1 kibana7

解压后的文件夹修改下名字，方便输入：mv logstash-7.6.1 logstash7

ES目录介绍

bin:下面存放着Es启动文件         elasticsearch.bat/elasticsearch

config：配置目录

data:数据目录

jdk、lib：Java运行环境以及依赖包

logs:日志目录

modules、plugins：模块及插件目录，head插件可以存放在plugins目录下

二、Elasticsearch配置

1.修改配置文件elasticsearch.yml

基础配置
ES 本身其实也相当于是一个数据库，为此，我们在 elasticsearch7 文件夹下自己建一个 data 文件夹，用于存放数据：

mdkir data

进入 data 文件夹下，执行 pwd 命令拷贝下该文件夹的路径，下面配置要用到！

我的 data 路径：

/usr/local/src/elk/elasticsearch7/data

修改配置文件elasticsearch.yml，我们进入elasticsearch7 这个文件夹下的config 文件夹，编辑 elasticsearch.yml 文件：

vim elasticsearch.yml

node.name: node-1

cluster.initial_master_nodes: ["node-1"]

path.data: /usr/local/src/elk/elasticsearch7/data #目录位置以安装为主

path.logs: /usr/local/src/elk/elasticsearch7/logs #目录位置以安装为主

network.host: 0.0.0.0 #对外开放访问

http.port: 9200 #默认9200


跨域问题添加如下几行

http.cors.enabled: true

http.cors.allow-origin: "*"

http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

修改系统配置文件

vi  /etc/security/limits.conf  添加四行代码

*               soft    nofile          65536

*               hard    nofile          65536

*               soft    nproc           4096

*               hard    nproc           4096

vi /etc/sysctl.conf 文件，增加配置vm.max_map_count=262144

sysctl -p 执行生效

2.新建es用户

因为Elasticsearch为了安全起见，不支持root用户直接启动

新建一个用户elasticsearch，命令：

adduser es

passwd es//修改es用户密码

Changing password for user es.

New UNIX password:     //在这里输入新密码

Retype new UNIX password:  //再次输入新密码

passwd: all authentication tokens updated successfully.

在elk 目录下 赋予 elasticsearch7 这个文件夹的权限给 es用户由于后续安装kibana也不能以root用户启动，所以我们对外层elk文件夹下赋予权限命令：

chown -R es:es /usr/local/src/elk

命令，切换到 es 用户，并重新到 bin 目录下执行 ES服务

su es

3.启动Elasticsearch

在es安装目录bin下执行

./elasticsearch  -d

浏览器访问：http://服务器ip:9200/
显示如下内容表示成功

4.启动问题：

由于某种原因可能导致启动失败，我这边也遇到过一些情况，可以参考解决方案：

4.1：JDK版本问题：

future versions of Elasticsearch will require Java 11; your Java version from [/usr/local/jdk8/jdk1.8.0_291/jre] does not meet this requirement

原因：说明这个版本对应的jdk应该是java11。我们环境中的jdk是java8。其实新版的es是自带了jdk的。但是和我们环境变量的冲突了。

解决方案：修改启动文件,添加如下修改

wget https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_linux-x64_bin.tar.gz

tar -xzvf openjdk-11.0.1_linux-x64_bin.tar.gz /opt/

vi bin/elasticsearch

配置自己的jdk11,在启动脚本前加上如下两行

export JAVA_HOME=/opt/jdk-11.0.1  #根据自己解压后的路径设置

export PATH=$JAVA_HOME/bin:$PATH

4.2：GC异常问题：

修改jvm.options将+UseConcMarkSweepGC 改为+UseG1GC

 

 

 

三、Logstash配置

1.新建持久化目录：

mkdir -p /usr/local/src/elk/logstash7/plugin-data

2.修改配置文件logstash.yml

编辑 /config/logstash.yml 配置文件

path.data: /usr/local/src/elk/logstash7/plugin-data    #上一步创建logstash 和插件使用的持久化目录

config.reload.automatic: true    #开启配置文件自动加载

config.reload.interval: 10    #定义配置文件重载时间周期

http.host: "172.18.10.172"    #本台服务器地址，一般为域名或IP,对外开放

  1. 安装logstash所需插件

从Filebeat 输入、过滤、输出至elasticsearch（logstash 有非常多插件，详见官网,此处不列举）
安装logstash-input-jdbc 和logstash-input-beats-master 插件
如果你的Logstash没有安装logstash-codec-json_lines插件，通过以下命令安装

/usr/local/src/elk/logstash7/bin/logstash-plugin install logstash-integration-jdbc

wget https://github.com/logstash-plugins/logstash-input-beats/archive/master.zip -O /opt/master.zip

unzip -d /usr/local/src/elk/logstash7 /opt/master.zip

root@iZwz91w9jegcgf28ttbe2yZ:/usr/local/src/elk/logstash7/bin# ./logstash-plugin install logstash-codec-json_lines

Validating logstash-codec-json_linesInstalling 

logstash-codec-json_lines

Installation successful

4.新建配置文件 logstash.conf（/bin目录下）

vim logstash.conf

配置文档内容

input {

  tcp {

    #模式选择为server

    mode => "server"

    #本台服务ip和端口根据自己情况填写，端口默认4560，对应后面整合spring boot的logback.xml里appender中的destination

    host => "172.18.10.172"

    port => 4560

    #格式json

    codec => json_lines

  }

}

filter {

  #过滤器，根据需要填写

}

output {

  elasticsearch {

    action => "index"

    #这里是es的服务器地址

    hosts  => "172.18.10.172:9200"

    #用于kibana过滤，可以填项目名称

    index  => "cim-logstash-%{+YYYY.MM.dd}"

  }

}

5.启动logstash

切换到/usr/local/src/elk/logstash7/bin

nohup ./logstash -f logstash.conf >/dev/null 2>&1 &

验证
访问http://服务器ip:9600/，成功的话会显示一个JSON串

6.启动问题：

由于某种原因可能导致启动失败，我这边也遇到过一些情况，可以参考解决方案：

6.1：内存问题：

:Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000

解决方案
修改logstash核心的执行文件 在bin目录下，有一个可执行的文件logstash,需要添加参数：（可以先不用设置，报错的话再设置）

LS_JAVA_OPTS="-server -Xms256m -Xmx512m -XX:PermSize=128m -XX:MaxPermSize=256m"

2./usr/local/src/elk/logstash7/config修改jvm.options

-Xms256m-Xmx256m

四、Kibana配置

1.修改配置文件kibana.yml

修改内容：

server.port: 5601

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://localhost:9200"] #es部署不在同一台，要修改IP地址

i18n.locale: "zh-CN" #kibana页面汉化设置，默认英文

2.启动kibana，kibana启动也是不建议root启动如果强制，可以命令后加--allow-root

进入bin目录启动:  ./bin/kibana --allow-root

或者守护进程启动: nohup ./bin/kibana --allow-root

>/dev/null 2>&1 &

进行访问本机访问 http://服务器ip:5601

五、Spring boot整合ELK

日志采集新增Logback直接发送日志到Logstash的形式。如果采用此方式，web服务可减少部分生成log文件配置，提高实时性和日志推送效率

1. 修改 pom.xml

logback 相关

<!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder -->

<dependency>

   <groupId>net.logstash.logback</groupId>

   <artifactId>logstash-logback-encoder</artifactId>

   <version>5.3</version>

</dependency>

2. logback.xml

<?xml version="1.0" encoding="UTF-8"?>

    <!--输出到logstash的appender-->

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

        <!--可以访问的logstash日志收集ip-->

        <destination>172.18.10.172:4560</destination>

        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>

    </appender>

    <root level="INFO">

        <appender-ref ref="LOGSTASH"/>

    </root>

</configuration>

3. Test.java

在接口中使用log进行日志生成，启动项目

  1. 进入kibana -> 管理 -> 索引模式 -> 创建索引模式,输入 logstash-* ，下一步创建

 

5. 调用接口触发日志记录，打开Kibana-->Discover菜单-->筛选" logstash-* ",显示请求日志,出现如下信息说明整合成功！！！

 

老梁学习记录
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
elk+springboot+kafka日志跟踪配置1
08-08
ELK+SringBoot+Kafka 日志跟踪配置详解 ELK（Elasticsearch、Logstash、Kibana）是一款流行的日志分析平台，SpringBoot 是一个流行的 Java 框架，Kafka 是一个流行的消息队列系统。本文将详细介绍如何将 SpringBoot...
springboot整合elk(windows版)-springboot-elk.zip
09-23
springboot整合elk(windows版).该资源包含：一个完整的demo,elasticsearch-6.8.1压缩包，logstash-6.3.0压缩包，kibana-6.8.1压缩包。详情部署操作说明：...
你居然还去服务器上捞日志，搭个日志收集系统难道不香么
m0_67505824的博客
03-22 451
ELK日志收集系统进阶使用，本文主要讲解如何打造一个线上环境真实可用的日志收集系统。有了它，你就可以和去服务器上捞日志说再见了！ ELK环境安装 ELK是指Elasticsearch、Kibana、Logstash这三种服务搭建的日志收集系统，这里仅提供最新版本的docker-compose脚本和一些安装要点。 docker-compose脚本 version: '3' services: elasticsearch: image: elasticsearch:6.4.0 co
Logstash 配置文件中各种组件详解
Gabriel的博客
06-09 1366
Logstash 配置文件中各种组件及参数详解及示例
Logstash处理嵌套的json字符串
Posin 的博客
12-17 1689
Logstash解析元数据的json字符串生成新的字段
【ELK】ElasticSearch+Logstash+Kibana搭建并集成SpringBoot
qq_38377525的博客
04-27 3903
【ELK】ElasticSearch+Logstash+Kibana搭建并集成SpringBoot
ELK日志分析系统搭建（基于docker容器）
Kongfq的博客
09-18 1322
ELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash 和 Kibana。这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为ELK协议栈。
springboot向elk写日志实现过程
08-25
Spring Boot 中的日志配置 在 Spring Boot 中，日志是通过 Logback 框架来实现的。Logback 是一个功能强大且灵活的日志框架，提供了许多有用的功能，例如异步日志、日志-roll、日志-filter 等。 在 Spring Boot ...
springboot整合elk-Demo源码+ELK安装教程(Windows环境).docx
11-12
windows环境下，安装配置elk环境，无赘述，直接图文几步操作即可，包含java（springboot-elk继承demo项目源码）。windows环境下，安装配置elk环境，无赘述，直接图文几步操作即可。
StirngBoot+ELK+Kafka记录日志，超详细搭建过程！
01-20
该系统通过整合SpringBoot应用的日志记录、Kafka的消息中间件、ELK(Elasticsearch、Logstash、Kibana)组件，实现了日志的实时流处理和可视化分析。 1. **可视化展示日志**：Kibana作为ELK堆栈的一部分，提供了一个...
在Window和Linux环境下部署mall项目后端
成长需要沉淀。
12-27 2113
在Window和Linux环境下部署项目后端 这段时间本人想学习Mall商城这个开源项目，我认为作者真的很强，我本人很喜欢他的代码，很优雅！笔记很明白！为了加深印象，提高自己技术，所以便有了这部署他的项目的笔记。附上他的GitHub地址：https://github.com/macrozheng/mall 1、Window开发环境搭建 1.1、Elasticsearch 用来进行搜索的，安装解压，然后安装ES的中文分词的插件，运行。下载ES的图形化界面，运行访问。 在https://www.el
Logstash - Linux 实现MySQL与ES数据同步
scdncby的博客
08-15 1173
Logstash - Linux 实现MySQL与ES数据同步 环境准备 Elasticsearch 7.4.2 MySQL8.0.15 logstash-7.4.2.tar.gz mysql-connector-java-8.0.15.jar 搭建Logstash 版本与Elasticsearch必须保持一致7.4.2，在ES官网下载 Logstash下载 配置Logstash 同步脚本配置 进入/usr/local/目录，将安装文件解压到这里 /usr/local..
ELK(Logstash部分二)
weixin_40018205的博客
07-30 181
Logstash部分   Logstash Input  filter  output ES Kibana logstash是什么 logstash是一个数据采集、加工处理以及传输的工具 logstash特点： 所有类型的数据集中处理 不同模式和格式数据的正常化 自定义数据源轻松添加插件 lostash安装 Logstash 依赖java环境，需要安装java-1.8.0...
最近在搭建ELK日志平台时，logstash报错JSON parse error
最新发布
jioulongzi的专栏
08-30 1490
直接进入正题，我在搭建elk日志，使用最简单的log4j2 socket json格式 输出到logstash.错误就不再出现了，下面的配置主要是多了json不再美化输出，每条日志记录输出一行json。以上配置，每次有日志时，logstash就抛出json解析错误。
解决Logstash安装插件失败的问题
阿甘兄
04-23 6033
使用原生的方式安装logstash插件时，会发现一直安装不了，如下： 问题原因：这是由于Logstash默认从国外的镜像网下载插件的，所以很慢，甚至无法下载。 解决方案： 方案一：修改镜像地址 方案二：离线安装 方案一：修改镜像地址 yum install -y gem gem update --system 方案二：离线安装 ...
logstash使用总结
csdncjh的博客
06-11 3742
如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。
Logstash stopped processing because of an error: (SystemExit) exitorg.jruby.exceptions.SystemExit:
qq 117791303
08-05 2625
[2023-08-05T00:13:16,944][FATAL][org.logstash.Logstash ] Logstash stopped processing because of an error: (SystemExit) exit org.jruby.exceptions.SystemExit: (SystemExit) exit at org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:790) ~[jruby.ja
安装logstash7.3.2遇到的坑及解决方案
热门推荐
小蜜蜂1010的博客
10-02 2万+
一、安装logstash 1.1安装logstash7.3.2版本 国庆节的前几天下载了elasticsearch和kibana，当时elastic stack系列最新版本还是7.3.2，当时只下载了elasticsearch和kibana的最新版7.3.2练习，今天，项目中需要用到logstash收集数据信息，进入官网，发现就在今天10月2日，官网发布了新版本7.4版本，我们知道...
Logstash启动报错
weixin_48685040的博客
08-28 359
删除之后再访问localhost:9200试试能不能访问到Elasticsearch。2.查询PID对应的进程：（第一列为进程名）1.查询端口占用情况：（最后一列为PID）解决方案：关闭占用9200的进程.
springboot整合elk
03-26
以下是实现Spring Boot整合ELK的基本步骤： 1. 安装ElasticSearch，Logstash和Kibana。 2. 当Spring Boot应用程序运行时，将日志记录到文件中。 3. 使用Logstash配置文件来监控日志文件，并将数据发送到Elastic...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值