ELK搭建完整步骤

已于 2024-06-20 11:35:06 修改
阅读量1.5k 收藏 13
点赞数 4
文章标签： elk
于 2023-11-09 14:59:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45882426/article/details/134311278
版权

目录

1.各个版本下载地址

2.环境：凝思系统6.0.80版本

3.概述

4.安装包准备

5.安装

5.1 上传安装包

5.2 安装ElasticSearch

1.进入/home/elk目录

2.解压安装包

3.修改配置：elasticsearch.yml

4.添加配置：jvm参数

5.修改配置：文件句柄数

6.修改配置：系统配置

7.修改配置：变量文件

 8.创建用户elastic 并切换到新用户

9.启动es与验证

5.3 安装Logstash

1.进入/home/elk目录 

2.解压安装包 

 3.修改配置：logstash-sample.conf

 4.赋予用户权限

5.切换用户启动程序

5.4 安装Kibana

1.进入/home/elk目录

2.解压安装包

3.修改配置：kibana.yml

​编辑

4.赋予用户权限

 5.切换用户启动与验证

5.5 安装filebeat

1.选择一个目录，解压安装包

 2.修改配置：filebeat.yml

3.后台启动

6. 配置Kibana

7. 查看页面

1.各个版本下载地址

Past Releases of Elastic Stack Software | Elasticicon-default.png?t=N7T8https://www.elastic.co/cn/downloads/past-releases#kibana

 这里我们选择最新的7.13.4版本。下载步骤4中的安装包。JDK1.8的话，一般用7版本，8版本会报错

2.环境：凝思系统6.0.80版本

3.概述

ELK其实是Elasticsearch，Logstash 和 Kibana三个产品的首字母缩写，这三款都是开源产品。

ElasticSearch(简称ES)，是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。

Logstash，是一个数据收集引擎，主要用于进行数据收集、解析，并将数据发送给ES。支持的数据源包括本地文件、ElasticSearch、MySQL、Kafka等等。

Kibana，为 Elasticsearch 提供了分析和 Web 可视化界面，并生成各种维度表格、图形。

上面只是用到了核心的三个组件简单搭建的ELK，实际上是有缺陷的。如果Logstash需要添加插件，那就全部服务器的Logstash都要添加插件，扩展性差。所以就有了FileBeat，占用资源少，只负责采集日志，不做其他的事情，这样就轻量级，把Logstash抽出来，做一些滤处理之类的工作。

4.安装包准备

一共四个，选择Linux X86_64版本即可

elasticsearch-7.13.4-linux-x86_64.tar.gz

filebeat-7.17.7-linux-x86_64.tar.gz

kibana-7.13.4-linux-x86_64.tar.gz

logstash-7.13.4-linux-x86_64.tar.gz

5.安装

5.1 上传安装包

将elasticsearch、logstash、kibana安装到ELK服务器；将filebeat安装到要采集日志的服务器。

在/home/下面新建目录elk，将安装包复制到elk文件夹下面

5.2 安装ElasticSearch

1.进入/home/elk目录

cd /home/elk

2.解压安装包

tar -zxvf elasticsearch-7.13.4-linux-x86_64.tar.gz

3.修改配置：elasticsearch.yml

#当前目录为/home/elk
vim elasticsearch-7.13.4/config/elasticsearch.yml

4.添加配置：jvm参数

#当前目录为/home/elk
vim elasticsearch-7.13.4/config/jvm.options

5.修改配置：文件句柄数

#在文件末尾添加下图红框内容（有则修改，没有则添加）
vim /etc/security/limits.conf

6.修改配置：系统配置

#末尾添加：vm.max_map_count=262144
vim /etc/sysctl.conf

  

#对刚才修改的配置使其立即永久生效
sysctl -p /etc/sysctl.conf

7.修改配置：变量文件

#文件末尾添加：ulimit -HSn 65535
vim /etc/profile

#使刚才修改配置立即永久生效
source /etc/profile

 8.创建用户elastic 并切换到新用户

# 因为es不允许以root账号启动，所以需要提前创建一个其他账号。

#创建用户组
groupadd elastic

#创建用户，-M 表示创建用户时不生成对应home目录
useradd -g elastic -M  elastic

#修改用户密码
passwd elastic

#设置用户elastic根目录为/home/elk/elasticsearch-7.13.4
usermod -d /home/elk/elasticsearch-7.13.4 elastic

#设置elastic用户组和elastic用户的目录操作权限
chown root:elastic /home/elk/elasticsearch-7.13.4
chmod 755 /home/elk/elasticsearch-7.13.4
chown elastic:elastic /home/elk/elasticsearch-7.13.4
chmod 755 /home/elk/elasticsearch-7.13.4
chown -R elastic:elastic /home/elk/elasticsearch-7.13.4

#切换用户
su - elastic

#保证config目录下文件是elastic用户的
#如果不是，使用下列命令赋权

chown elastic:elastic elasticsearch.yml

9.启动es与验证

#先进入elasticsearch的根目录

#参数 -d 表示后台启动
./bin/elasticsearch -d

启动后如下：

验证，安装成功：

5.3 安装Logstash

1.进入/home/elk目录 

cd /home/elk

2.解压安装包 

tar -zxvf logstash-7.13.4-linux-x86_64.tar.gz

 3.修改配置：logstash-sample.conf

找到/config目录下的logstash-sample.conf文件，注释原来的output内容，新添红框中的内容

其中mes3-log是filebeat的标签，用于区别哪个日志来源写入不同的位置

 4.赋予用户权限

chown -R elastic:elastic /home/elk/logstash-7.13.4

5.切换用户启动程序

su - elastic
cd /home/elk/logstash-7.13.4
nohup ./bin/logstash -f /home/elk/logstash-7.13.4/config/logstash-sample.conf &

启动成功如下：可以使用tail -f nohup.out命令查看启动日志是否正常

5.4 安装Kibana

1.进入/home/elk目录

cd /home/elk

2.解压安装包

tar -zxvf kibana-7.13.4-linux-x86_64.tar.gz

3.修改配置：kibana.yml

 找到/config目录下的kibana.yml文件，修改配置

#当前目录：/home/elk
vim kibana-7.13.4-linux-x86_64/config/kibana.yml

4.赋予用户权限

chown -R elastic:elastic /home/elk/kibana-7.13.4-linux-x86_64

 5.切换用户启动与验证

#切换用户
su - elastic

#切换目录
cd /home/elk/kibana-7.13.4-linux-x86_64

#后台启动
nohup ./bin/kibana &

5.5 安装filebeat

filebeat是安装在客户端侧服务器，配置后将日志传输到logstash服务器。

filebeat依赖的rseq组件，在低版本没有，必须要升级到7.17.2版本之上才可以

并且需要在filebeat配置文件中配置rseq相关信息，所以我们此处选择7.17.7

1.选择一个目录，解压安装包

tar -zxvf filebeat-7.17.7-linux-x86_64.tar.gz

 2.修改配置：filebeat.yml

vim filebeat-7.17.7-linux-x86_64/filebeat.yml

3.后台启动

#进入filebeat-7.17.7-linux-x86_64目录下进行启动
nohup ./filebeat -e -c filebeat.yml &

6. 配置Kibana

注意：因安装过程我把上述安装中的tags：mes3-log改成了tags：sys，所以下图中全是sys，tags是自己任意命名的，无所谓

1.登录页面http://IP:5601/

2.打开kibana，进入stack management > index management，选中下图中的索引，点击Edit Settings，将图中的数值改为0，并保存

3.创建索引，点击索引模式

输入mes3-log的正则匹配：[mes3-log]-*，进行通配。我配置文件是sys_，所以下图略有不同

 配置完毕

7. 查看页面

点击最左侧顶部按钮，展开页面，点击discover

输入查询条件

END

maybezh
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK日志系统搭建完整详细步骤
qq_39093474的博客
05-23 990
为什么需要引进这个ELK日志采集系统呢？
ELK安装部署搭建
m0_61664359的博客
01-20 3818
一、ELKStack简介 -- 日志分析管理（都是Java架构 -- 需要JDK底层） 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网Free and Open Search: The Creators of Elasticsearch, ELK & Kibana | Elastic. 1、Elasticsearch elastics..
ELK6.2.4搭建
11-15
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站：https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 ELK下载：https://www.elastic.co/downloads/ ELK工作原理： ElasticSearch 配置ElasticSearch： 1 2 unzip elasticsearch-6.2.4.zip cd elasticsearch-6.2.4 然后编辑ES的配置文件： 1 vi config/elasticsearch.yml 修改以下配置项： 1 2 3 4 5 6 7 cluster.name=es_cluster node.name=node0 path.data=/tmp/elasticsearch/data path.logs=/tmp/elasticsearch/logs #当前hostname或IP，我这里是node1 network.host=node1 network.port=9200 其他的选项保持默认，然后启动ES： 1 nohup sh elasticsearch > nohup.log & 注意： 1.需要添加用户elk,ES不能以root用户进行启动 2.可能出现的错误： max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 1 2 3 vi /etc/security/limits.conf elk soft nofile 819200 elk hard nofile 819200 max number of threads [1024] for user [work] likely too low, increase to at least [2048] 1 2 3 4 vi /etc/security/limits.d/90-nproc.conf * soft nproc 1024 #修改为： * soft nproc 2048 max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 1 2 3 4 5 vi /etc/sysctl.conf #增加改行配置： vm.max_map_count=655360 #保存退出后，执行： sysctl -p 另外再配置ES的时候，threadpool.bulk.queue_size 已经变成了thread_pool.bulk.queue_size ，ES_HEAP_SIZE，ES_MAX_MEM等配置都变为ES_JAVA_OPTS这一配置项，如限制内存最大最小为1G： 1 export ES_JAVA_OPTS="-Xms1g -Xmx1g" 然后可以打开页面http://node1:9200/，将会看到以下内容：(我是通过外部访问虚拟机，因此为了简单没有配置host文件，直接用ip访问) Logstash 配置Logstash： 1 2 tar -zxvf logstash-6.2.4.tar.gz cd logstash-6.2.4 编写配置文件(名字和位置可以随意，这里我放在config目录下，取名为log_app.conf)： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 vi config/log_app.config #以下为内容 input { file { path => "/usr/local/software/elk/app.log" start_position => "beginning" #从文件开始处读写 } # stdin {} #可以从标准输入读数据 } filter { #Only matched data are send to output. } output { # For detail config for elasticsearch as output, # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html elasticsearch { action => "index" #The operation on ES hosts => "node1:9200" #ElasticSearch host, can be array. index => "applog" #The index to write data to. } } 其他的选项保持默认，然后启动Logstash： 1 2 # -f为指定配置文件 nohup sh ./bin/logstash -f ../config/log_app.config > nohup.log & 日志： Kibana 配置Kibana： 1 2 tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz cd kibana-6.2.4-linux-x86_64 修改以下几项（由于是单机版的，因此host的值也可以使用localhost来代替，这里仅仅作为演示）： 1 2 3 4 server.port: 5601 server.host: “node1” elasticsearch.url: http://node1:9200 kibana.index: “.kibana” 启动kibana： 1 nohup sh ./bin/kibana > nohup.log & 启动后界面： 然后需要创建index，步骤如下： ①点击左边iscover出现以下界面 ②按照注释配置,然后点击Next step,在第二页 选择@timestamp点击create创建 ③创建完成之后,可以看到以下一个界面,红框内是 自动生成的域,也可以理解为 跟数据库中的字段类似,其中有一个message字段,就是我们想要的日志信息。 ④再次点击Discover出现以下界面,可以看到默认搜索的是最后15分钟的日志,可以通过点击设置搜索的时间范围. ⑤可以点击右侧域的add设置需要显示的字段 添加完成之后,日志显示如下：
ELk日志平台搭建
2301_76838634的博客
07-11 5233
服务器数量较少时，使用 rsyslog 或者 脚本(scp) 进行收集、分割日志，再统一汇总到专门存放日志的日志服务器保存管理。查看日志可以把需要的日志文件传到windows主机上，使用专业的文本工具打开分析日志。服务器数量较多时，使用 ELK 收集日志、存储日志、展示日志。对于在K8S平台运行的容器日志，可以使用 Loki+Granfana 收集日志、存储日志、展示日志。
（ELK） ELK 企业实战 ES+head+kibana+logstash部署（最大集群）
最新发布
weixin_50382197的博客
05-22 825
注：以下为环境所需所有服务器，配置为测试环境配置。安装软件主机名IP地址系统版本配置Elk2核4GEs12核3GEs22核3GKafka11核2GKafka21核2GKafka31核2GFilebeat。
ELk部署，保姆级教学超详细！！！
花海~
11-28 4827
Elasticsearch：是一个分布式的搜索和分析引擎。它能够处理大量的数据，并提供快速、准确的搜索结果，支持复杂的数据分析和可视化。 Logstash：是一个日志收集和处理工具。它可以从各种数据源收集数据，并对数据进行过滤、解析和转换，使其能够被Elasticsearch等系统所理解。 Kibana：是一个数据可视化工具，提供了强大的图形化界面，能够帮助用户更好地理解和分析数据。它支持各种图表和图形，可以直观地展示数据趋势、关系和特征。
ELK快速搭建图文详细步骤
Huisoul的博客
03-20 1369
ELK快速搭建图文详细步骤
ELk日志分析系统搭建
@chenk的博客
05-17 5674
一、什么是ELK ​ ELK是Elasticsearch + Logstash + Kibana 这种架构的简写. ​ 这是一种日志分析平台的架构. 如果没有ELK这样的日志分析平台,我们同样可以使用shell三剑客(grep、sed、awk)来分析日志。 这种方式略显原始而简陋，虽然也能应对大多数的场景，但是当日志量变大，分析频繁的时候，仅靠人工shell 的方式来查看分析日志，就很不方便。 尤其适当使用者，对于shell不是很擅长的情况下，一个操作简单，配置方便的日志分析平台，就显得很有必要了。
ELK的搭建和使用
YIYIYI
08-11 4239
ELK的搭建和使用
ELK搭建以及使用教程（多pipiline）
weixin_38405770的博客
11-05 1309
ELK搭建
ELK学习笔记1：简介及安装
Mr_tianyanxiaobai的博客
09-13 448
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。
centos8 ELK安装步骤以及相关注意点
05-22
CentOS 8 安装ELK 7.x 本次示例使用的是阿里云的机器，系统CentOS8 常见的问题的原因以及处理
ELK搭建文档
10-18
Linux环境下面搭建ELK步骤，，， 进行日志抽取，备份等
04 elk环境搭建1
08-08
这个“04 elk环境搭建1”主要介绍了如何在Windows操作系统上搭建ELK环境，包括Elasticsearch的下载、安装与运行，以及Kibana和Logstash的配置。 一、Elasticsearch下载安装运行 Elasticsearch是一款高性能的全文...
采用ELK搭建日志分析系统.docx
10-13
本文将详细介绍如何使用ELK搭建日志分析系统。 首先，我们从基础开始，Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，用于存储和检索大量数据。确认Elasticsearch是否正常运行，可以通过在命令行...
ELK日志分析平台搭建步骤.doc
08-07
什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的 一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack。
从0开始进行ELK的安装、部署并在spring boot环境下使用
huang877620097的博客
12-18 642
注意了，如果你安装的是7以上版本的logstash，安装好后，关注下提示语的第一行，这里的using JAVA_HOME defined java的路径是不是你之前jdk的路径，如果不是，还需要强制去修改logstash的JDK路径的。里面大部分我觉得是不需要改的，比如数据文件路径，日志文件路径，端口9200等，若不需要的话可以不改。在配置文件中，最重要的是conf文件，在有些版本中，把/etc/logstash/目录下的logstash-sample.conf，拷贝进conf.d文件夹内即可。
快速搭建ELK日志分析系统
weixin_33910434的博客
06-15 2746
一、ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Ela...
ELk安装部署
LT19990304的博客
08-10 152
ELK由ElasticSearch、Logstash、Kibana三个根据组成。ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用。kibana也是一个开源和免费的工具，他Kibana可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。
elk流量分析平台搭建步骤
09-08
搭建ELK（Elasticsearch, Logstash, Kibana）流量分析平台的步骤如下： 步骤1：安装Elasticsearch - 下载并安装Elasticsearch，根据操作系统的不同，安装过程可能会有所不同。 - 配置Elasticsearch的相关参数，如监听地址、集群名称等。 - 启动Elasticsearch服务。 步骤2：安装Logstash - 下载并安装Logstash，同样根据操作系统的不同，安装过程可能会有所不同。 - 配置Logstash的输入插件，例如Filebeat、Beats等，用于收集日志数据。 - 配置Logstash的输出插件，将数据传输到Elasticsearch中。 - 启动Logstash服务。 步骤3：安装Kibana - 下载并安装Kibana，同样根据操作系统的不同，安装过程可能会有所不同。 - 配置Kibana的相关参数，如Elasticsearch的地址、端口等。 - 启动Kibana服务。 步骤4：配置数据收集 - 在Logstash中配置数据收集的规则，例如通过Filebeat收集日志文件、通过Beats收集网络流量等。 - 确保Logstash能够正确接收和解析数据，并将其发送到Elasticsearch。 步骤5：可视化和分析 - 打开Kibana的Web界面，在控制台上创建索引模式，用于指定要在Kibana中进行可视化和分析的数据源。 - 使用Kibana的查询语言（如Lucene查询语法或KQL）进行数据搜索和过滤。 - 创建仪表板和可视化图表，以展示数据分析结果。 以上是ELK流量分析平台的搭建步骤，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值