ELK的安装部署与使用

已于 2023-05-18 14:11:47 修改
阅读量1.1k 收藏 2
点赞数 1
分类专栏： 成长之旅 文章标签： elk elasticsearch 数据库
于 2023-05-18 10:28:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44715643/article/details/130741265
版权

ELK的安装与使用

安装部署

部署环境：Elasticsearch-7.17.3 Logstash-7.17.3 Kibana-7.17.3

一、安装部署Elasticsearch

  1. 解压目录，进入conf目录下
  2. 编辑elasticsearch.yml文件，输入以下内容并保存
network.host: 127.0.0.1
http.port: 9200
# 跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

3.进入bin目录，点击elasticsearch.bat文件启动项目

二、安装部署Logstash

文件配置

在conf目录下新建logstash.conf

input {
    stdin {
    }
    jdbc {
      # 配置数据库信息
      jdbc_connection_string => "jdbc:mysql://localhost:3306/student?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai"
      jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      jdbc_default_timezone => "Asia/Shanghai"
  	   # mysql驱动所在位置
      jdbc_driver_library => "D:\ELK\mysql-connector-java-8.0.11.jar"
      #sql执行语句
	  statement => "SELECT * FROM user"
      # 定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
      # 是否将 sql 中 column 名称转小写
      lowercase_column_names => false
    }
}
output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "goods"
        # 文档_id，%{goods_id}意思是取查询出来的goods_id的值，并将其映射到shop的_id字段中
        # 文档_id，%{goodsId}如果是别名，意思是取查询出来的goodsId的值，并将其映射到shop的_id字段中
        document_id => "%{goodsId}"
    }
    stdout {
        codec => json_lines
    }
}
遇到问题与解决

①JAVA_HOME环境找不到，不推荐使用JAVA_HOME变量名

系统找不到指定的路径。could not find java; set JAVA_HOME or ensurejava is in PATH D: ELK logstash-?.17.3 bin>

解决方法：

新增JDK环境变量:命名为 LS_JAVA_HOME

将jdk路径复制进去，注意！！！JDK版本必须1.8以上

②报以下错误

在这里插入图片描述

解决办法：

在bin目录下新建文件：logstash.conf

设置logstash.conf的值，或指定路径下的conf文件

input {
	stdin{
	}
}

output {
	stdout{
	}
}

启动logstash,进入bin目录下的cmd，输入以下命令

logstash -f logstash.conf

安装部署Kibana

进入config目录将kibana.yml文件修改

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"

SpringBoot集成Logstash收集日志

1、导入依赖

在pom.xml文件导入以下依赖

<!--集成logstash-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>5.3</version>
        </dependency>

2、配置文件

新建"logback-spring.xml"文件，并编写内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--设置指定路径下的发送地址，端口号设置为4560-->
        <destination>localhost:4560</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>
    <!--配置根路径下日志级别-->
    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

3、配置application.yml文件

进入application.yml文件配置日志

logging:
  level:
    root: info
  config: classpath:logback-spring.xml

4、配置logstash下的logstash.conf文件

input{
	tcp{
		mode => "server"
		host => "127.0.0.1"
		port => 4560
		codec => json_lines
	}
}
output{
	elasticsearch{
		action => "index"
		hosts => "localhost:9200"
		index => "springboot_log-%{+YYYY.MM.dd}"
	}
}

以上配置完启动可运行成功

5、配置Logstash日志保存到数据库

Linux配置这里就不提了，网上很多。这里讲的是windows系统下的配置，并以MySQL数据库为例。

使用的是jdbc，由于Logstash默认不带jdbc，所以需要下载logstash-output-jdbc，在线下载方式：进入logstash的bin目录下输入以下命令：

logstash-plugin install --no-verify logstash-output-jdbc

若安装失败，则去百度找一个压缩包下载（小编是在百度网盘上面下载的）

下一步是采用不联网的安装方式：进入logstash的bin目录下输入以下命令：

logstash-plugin install file://文件路径+压缩包全名，以'/'分隔

若还是安装失败，则需要更改配置文件

在logstash根目录下的Gemfile文件修改以下配置

source "https://gems.ruby-china.com"

重新进入logstash的bin目录下输入以下命令

logstash-plugin install file://文件路径+压缩包全名，以'/'分隔

网上下载mysql驱动，譬如mysql-connector-java-8.0.11.jar

下载后在logstash下的vendor目录下新建jar目录，再进入jar目录新建jdbc目录

将mysql驱动包放到jdbc目录下，全局路径如下：logstash-7.17.3目录为安装模块

logstash-7.17.3\vendor\jar\jdbc\mysql-connector-java-8.0.11.jar

譬如springboot下的日志内容为

log.info(“|”+“version内容”+“|”+“taskId内容”+“|”+“taskType内容”+“|”+“data内容”+“|”+“time内容”)

重新进入logstash.conf文件，编辑以下内容

input{
	tcp{
		mode => "server"
		host => "127.0.0.1"
		port => 4560
		codec => json_lines
	}
}
filter{
	mutate{
		split => ["message","|"]
	}
	if[message][2]{
			mutate{
				add_field =>{
					"version" => "%{[message][2]}"
				}
			}
		}
		if[message][3]{
			mutate{
				add_field =>{
					"taskId" => "%{[message][3]}"
				}
			}
		}
		if[message][4]{
			mutate{
				add_field =>{
					"taskType" => "%{[message][4]}"
				}
			}
		}
		if[message][5]{
			mutate{
				add_field =>{
					"data" => "%{[message][5]}"
				}
			}
		}
		if[message][6]{
			mutate{
				add_field =>{
					"time" => "%{[message][6]}"
				}
			}
		}
		mutate{
			convert => {
				"version" => "string"
				"taskId" => "string"
				"taskType" => "string"
				"data" => "string"
				"time" => "string"
			}
		}
}
output{
	driver_class => "com.mysql.cj.jdbc.Driver"
					connection_string => "jdbc:mysql://127.0.0.1:3306/student?user=用户名&password=密码&serverTimezone=GMT%2B8&characterEncoding=utf8&useSSL=false&autoReconnect=true"
					statement => ["insert into 表名 (version,taskId,taskType,data,time) VALUES (?,?,?,?,?)","version","taskId","taskType","data","time"]
}

6、区分业务日志和错误日志存储

add_tag 属性，在input添加，用于区分输出

具体内容就不详细介绍了，看下面小编写的内容

input {
	tcp {
		mode => "server"
		host => "127.0.0.1"
		port => 4560
		codec => json_lines
	}
}
filter{
	mutate{
		split => ["message","|"]
	}
	if[message][1] == "business_log"{
		mutate{
			add_tag =>["business_log"]
		}
	}
	if[message][1]== "error_log"{
		mutate{
			add_tag => ["error_log"]
		}
	}
	if[message][2]=="ElasticSearch"{
		mutate{
			add_tag => ["ElasticSearch"]
		}
	}
	if[message][2]=="MYSQL"{
		mutate{
			add_tag => ["MySQL"]
		}
	}
	if[message][2]=="PgSQL"{
		mutate{
			add_tag => ["PgSQL"]
		}
	}
	if[message][2]=="ElasticSearchMySQL"{
		mutate{
			add_tag => ["ElasticSearchAndMySQL"]
		}
	}
	if[message][2]=="ElasticSearchPgSQL"{
		mutate{
			add_tag => ["ElasticSearchAndPgSQL"]
		}
	}
	if [level] == "INFO"{
		if[message][3]{
			mutate{
				add_field =>{
					"version" => "%{[message][3]}"
				}
			}
		}
		if[message][4]{
			mutate{
				add_field =>{
					"taskId" => "%{[message][4]}"
				}
			}
		}
		if[message][5]{
			mutate{
				add_field =>{
					"taskType" => "%{[message][5]}"
				}
			}
		}
		if[message][6]{
			mutate{
				add_field =>{
					"data" => "%{[message][6]}"
				}
			}
		}
		if[message][7]{
			mutate{
				add_field =>{
					"time" => "%{[message][7]}"
				}
			}
		}
		mutate{
			convert => {
				"version" => "string"
				"taskId" => "string"
				"taskType" => "string"
				"data" => "string"
				"time" => "string"
			}
		}
	}
}
output {
	if [level] == "INFO"{
		if "business_log" in [tags]{
			if "ElasticSearch" in [tags]{
				elasticsearch {
					action => "index"
					hosts => "localhost:9200"
					index => "business_log-%{+YYYY.MM.dd}"
				}
			}
			else if "MySQL" in [tags]{
				jdbc{
					driver_class => "com.mysql.cj.jdbc.Driver"
					connection_string => "jdbc:mysql://127.0.0.1:3306/student?user=root&password=root&serverTimezone=GMT%2B8&characterEncoding=utf8&useSSL=false&autoReconnect=true"
					statement => ["insert into business_log (version,taskId,taskType,data,time) VALUES (?,?,?,?,?)","version","taskId","taskType","data","time"]
				}
			}
		}
		else if "error_log" in [tags]{
			if "ElasticSearch" in [tags]{
				elasticsearch {
					action => "index"
					hosts => "localhost:9200"
					index => "business_error_log-%{+YYYY.MM.dd}"
				}
			}
		}
	} 
	else if [level] == "ERROR"{
		elasticsearch {
			action => "index"
			hosts => "localhost:9200"
			index => "sys_error_log-%{+YYYY.MM.dd}"
		}
	}
}

配置30天删除日志记录

需求；每天都记录日志，但是考虑到日志文件存储占用内容，所以将30天前的日志文件删除掉

通过以上的配置已经配置好每天都会创建新的日志文件

思考：

①使用Kibana配置删除策略，对日志单独配置处理

②配置创建日志同时配置日志的删除策略

http://127.0.0.1:5601 命令进入Kibana

在这里插入图片描述

手动选择策略

若需要自定义策略，可以创建策略，如以下操作
在这里插入图片描述

进入索引管理，添加策略
在这里插入图片描述
在这里插入图片描述

以上步骤后，实现了指定的索引选择对应是策略

配置自动创建策略

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配置内容如下

{
  "index": {
    "lifecycle": {
      "name": "30-days-default",
      "rollover_alias": ""
    },
    "routing": {
      "allocation": {
        "include": {
          "_tier_preference": "data_content"
        }
      }
    },
    "number_of_shards": "1",
    "auto_expand_replicas": "0-1",
    "number_of_replicas": "1"
  }
}

配置完点击"Next"

选择Dynamic templates，根据自定义动态添加字段

在这里插入图片描述

然后点击"Next",逐个点击下一步，最后创建成功。。成功实现了以上的功能

若报错内容如下：

illegal_argument_exception: setting [index.lifecycle.rollover_alias] for index [sys_error_log-2023.05.16] is empty or not defined

更改 策略配置信息
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

问题解决

码农_小庄
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK学习笔记1：简介及安装
Mr_tianyanxiaobai的博客
09-13 448
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。
安装部署ELK
weixin_46616161的博客
08-12 611
部署elasticsearch
ELK日志分析平台搭建
Wielun
10-15 289
aadwd
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1309
ELK搭建
Win环境安装ELK（保姆级教程）
最新发布
qq_33191919的博客
04-23 1666
elasticsearch+kibana+logstash+filebeat 搭建教程
从0开始进行ELK的安装、部署并在spring boot环境下使用
huang877620097的博客
12-18 642
注意了，如果你安装的是7以上版本的logstash，安装好后，关注下提示语的第一行，这里的using JAVA_HOME defined java的路径是不是你之前jdk的路径，如果不是，还需要强制去修改logstash的JDK路径的。里面大部分我觉得是不需要改的，比如数据文件路径，日志文件路径，端口9200等，若不需要的话可以不改。在配置文件中，最重要的是conf文件，在有些版本中，把/etc/logstash/目录下的logstash-sample.conf，拷贝进conf.d文件夹内即可。
ELK的搭建和使用
YIYIYI
08-11 4239
ELK的搭建和使用
ELK安装部署
05-05
ELK日志分析和监控的安装和部署
ELK日志系统浅析与部署
01-27
《ELK日志系统浅析与部署》 在现代企业应用环境中，日志管理成为了一个不可或缺的环节。传统的日志记录方式，由于分散且缺乏统一的管理，导致开发人员和运维人员在面对服务问题时，难以快速定位和解决。ELK...
ELK部署文档.docx
03-24
总的来说，ELK部署文档详细介绍了Logstash的环境准备、安装过程以及基础配置，为实现高效、灵活的日志管理和分析提供了基础步骤。在实际操作中，还需要根据具体的需求，配置相应的Elasticsearch和Kibana，以实现完整...
ELK全套视频教程(共计141节)
04-21
详细讲述ELK技术栈全套教程, 包括技术讲解, 项目实战.非常详细, 包括讲师的语速, 语调, 不墨迹, 不拖拉. 干脆利落
ELK安装部署搭建
m0_61664359的博客
01-20 3818
一、ELKStack简介 -- 日志分析管理（都是Java架构 -- 需要JDK底层） 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic. 1、Elasticsearch elastics..
ELk安装部署
LT19990304的博客
08-10 152
ELK由ElasticSearch、Logstash、Kibana三个根据组成。ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用。kibana也是一个开源和免费的工具，他Kibana可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。
ELK日志系统搭建完整详细步骤
qq_39093474的博客
05-23 990
为什么需要引进这个ELK日志采集系统呢？
ELK日志分析系统详细部署步骤
Stars1sea的博客
09-21 196
ELK日志分析系统是一个开源的日志管理和分析平台，由三个主要组件组成：Elasticsearch、Logstash和Kibana。Elasticsearch
【ELK 使用指南 1】ELK + Filebeat 分布式日志管理平台部署
这是博客的简介的简介
10-14 5249
ELK详解（组件和工作原理）；ELK部署；ELFK部署
ELK部署
u010230019的博客
04-21 686
elk
在Linux环境下配置ELK（elasticsearch+Kibana）-含网盘下载文件
是江迪呀 的博客
03-19 1259
在Linux环境下配置kibana-含网盘下载kibana1.下载kibana2.将tar文件上传到Linux服务器3.修改配置kibana配置文件3.1 解压后的kibana3.2进入config文件夹3.3 修改kibana.yml文件4.启动kibana5.验证6.kibana常见配置项 1.下载kibana kibana下载 提取码：2nnp 2.将tar文件上传到Linux服务器 在这里...
ELKStack安装与部署实战指南
- 安装Logstash的方式与Elasticsearch类似，可以通过添加仓库和使用yum安装。 - 配置Logstash的输入插件（例如syslog、file等）来收集日志，输出插件（如elasticsearch）将数据发送到Elasticsearch。 4. Kibana...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值