搭建ELK集群

最新推荐文章于 2024-08-20 18:45:19 发布
最新推荐文章于 2024-08-20 18:45:19 发布
阅读量778 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenkya/article/details/89082945
版权

 

一、ELK介绍：

  1. Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等
  2. Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
  3. Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
  4. Beats在这里是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计

ELK Stack （5.0版本之后）--> Elastic Stack == （ELK Stack + Beats）。目前Beats包含六种工具：

  • Packetbeat： 网络数据（收集网络流量数据）
  • Metricbeat： 指标 （收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
  • Filebeat： 日志文件（收集文件数据）
  • Winlogbeat： windows事件日志（收集 Windows 事件日志数据）
  • Auditbeat：审计数据 （收集审计日志）
  • Heartbeat：运行时间监控 （收集系统运行时的数据）

二、搭建ELK集群

1、准备工作：

（1）下载ELK软件包：

elasticsearch-6.5.4.tar.gz、filebeat-6.5.4-linux-x86_64.tar.gz、jdk-8u121-linux-x64.tar.gz、kibana-6.5.4-linux-x86_64.tar.gz、Kibana_Hanization-master.zip、logstash-6.5.4.tar.gz

（2）三台主机：

192.168.209.149（master-node 主节点）

192.168.209.150（data-node1 node节点1）

192.168.209.151（data-node2 node节点2）

  1. 设置host  在/etc/host中新增以下配置

192.168.209.149 master-node

192.168.209.150 data-node1

192.168.209.151 data-node2

（4）关闭防火墙：

Systemctl stop firewalld

Systemctl disable firewalld

（5）关闭selinux

Vim /etc/selinux/config

修改SELINUX=disabled

2、搭建elasticsearch

  1. 创建elk用户和组

groupadd elk

useradd -g elk elk

  1. 配置jdk
  1. 创建目录/opt/app/elk，将ELK软件包放在这个目录下
  2. 改/opt/app/elk的属主属组为elk：chown -R elk:elk /opt/app/elk
  3. 解压jdk、配置jdk环境变量

Vim .bash_profile

增加如下配置：

JAVA_HOME="/opt/app/ELK/jdk1.8.0_121"

PATH="$JAVA_HOME/bin:$PATH"

CLASSPATH=".:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar"

export JAVA_HOME

export PATH

export CLASSPATH

Source一下 

使用java -version查看jdk环境变量是否设置成功

  1. 配置elasticsearch
  1. 切换到elk用户，解压elasticsearch-6.5.4.tar.gz
  2. 依次配置主节点与node节点elasticsearch，主节点与node节点设置是不一样的，具体看以下解释

 

elasticsearch.yml配置文件

cluster.name: chenkya  # 集群中的名称
node.name: master-node  # 该节点名称
node.master: true  # 意思是该节点为主节点 （主节点设置为true，node节点设置为false）
node.data: false  # 表示这不是数据节点 （主节点设置为false，node节点设置为true）
network.host: 0.0.0.0  # 监听全部ip，在实际环境中应设置为一个安全的ip
http.port: 9200  # es服务的端口号
discovery.zen.ping.unicast.hosts: ["192.168.209.149", "192.168.209.150", "192.168.209.151"] # 配置自动发现

 

  1. 启动elastiicsearch

进入bin目录，./elasticsearch

这个时候可能会报错，这个问题是因为elk用户拥有的内存较小，至少需要262144

这个时候需要改vm.max_map_count值

切换到root用户，在/etc/sysctl.conf文件最后添加一行

vm.max_map_count=262144

再执行这条命令

sysctl -w vm.max_map_count=262144

报错max file descriptors [65535] for elasticsearch process is too low

解决办法：修改/etc/security/limits.d/20-nproc.conf 加入如下配置

* soft nofile 65536

* hard nofile 131072

* soft memlock unlimited

* hard memlock unlimited

报错max number of threads [3812] for user [els] is too low, increase to at least [4096]

解决方法3

修改/etc/security/limits.d/20-nproc.conf，做以下配置

*          soft    nproc     4096

root       soft    nproc     unlimited

 

  1. 重新切回elk用户，再启动。查看端口9200是否起来，是的话就表示启动成功了
  2. 查看集群状态

curl '192.168.209.149:9200/_cluster/health?pretty'

curl '192.168.209.149:9200/_cluster/state?pretty'可以查看集群的详细信息

 

 

 

三、搭建logstash

logstash是ELK中负责收集和过滤日志的，我们在192.168.209.150上搭建logstash

  1. 解压logstash。配置logstash配置文件

也可以自己写.conf的配置文件，在启动的时候加-f选项指向你写的配置文件即可

logstash的配置文件须包含三个内容：

input{}：此模块是负责收集日志，可以从文件读取、从redis读取或者开启端口让产生日志的业务系统直接写入到logstash

filter{}：此模块是负责过滤收集到的日志，并根据过滤后对日志定义显示字段

output{}：此模块是负责将过滤后的日志输出到elasticsearch或者文件、redis等。Output直接输出到Elasticsearch

 

Input模块有如下参数：

  1. type:代表类型，其实就是将这个类型推送到Elasticsearch，方便后面的kibana进行分类搜索，一般直接命名业务系统的项目名称
  2. path：读取文件的路径
  3. start_position => “beginning”是代表从文件头部开始读取

  1. filter{}中的grok是采用正则表达式来过滤日志，其中%{TIMESTAMP_ISO8601}代表一个内置获取2016-11-05 00:00:03,731时间的正则表达式的函数，%{TIMESTAMP_ISO8601:date1}代表将获取的值赋给date1，在kibana中可以体现出来

上图有两条grok，第一条不符合将执行第二条

  1.  

其中index是定义将过滤后的日志推送到Elasticsearch后存储的名字

%{type}是调用input中的type变量

Hosts指向elasticsearch的IP加端口

 

  1. 启动logstash

命令 ./logstash -f /opt/app/ELK/logstash-6.5.4/config/logstash-test.conf

也可以加-t 选项先测试一下 logstash-test.conf是否正确

 

  • 搭建kibana

我们在192.168.209.149上搭建kibana

刚才我们已经上传kibana的软件包到/opt/app/ELK目录下了，解压后cd 到/opt/app/ELK/kibana-6.5.4-linux-x86_64/config

配置kibana.yml。修改如下参数

保存后启动kibana

cd /opt/app/ELK/kibana-6.5.4-linux-x86_64/bin

nohup ./kibana&

可以通过http://192.168.209.149:5601访问kibana

 

 

 

 

 

 

五、Logstash filter参数学习：

上面说过，filter中的grok是采用正则表达式来过滤日志的。我们可以使用grok自带的正则表达式参数来写正则过滤日志，也可以将grok自带的正则表达式参数拼接成为我们需要的参数来供我们调用写正则

Grok自带的正则表达式参数可以参考下面的网址

https://www.cnblogs.com/stozen/p/5638369.html

我们可以在kibana上来测试我们写的正则表达式是否正确

我们来演示一下：

假如我们有这样一条日志，需要写正则表达式。我们可以在kibana上进行验证

Apr 04 10:37:59] [557580441]  INFO [ajp-10.220.45.117-8109-294] [A35F4C076A7A79DC819BDA2DC7A132C0.HXIBEServer1] - |223.221.201.123|http://new.hongkongairlines.com/hxair/ibe/air/spinnerCalendar.do|?spinner=FromFlightCalendar&Search/calendarOutboundDate=2019-09-29&Search/calendarInboundDate=2019-10-16&Search/calendarSearch=false|||||||||281

首先登陆kibana，选择Dev Tools，点击Grok Debugger

将日志粘贴到Sample Data中，我们就可以在Grok Pattern中通过grok自带的正则参数写正则表达式，点击Simulate来验证写的正则表达式是否能满足我们的需求

我们也可以在Custom Patterns中使用grok自带的正则参数拼接成自定义参数，然后在Simulate中调用自定义的参数来写正则表达式

假如我们要过滤这个日志访问的时间及访问的IP地址

首先我们看一下这个日志的时间及IP地址，时间是Apr 04 10:37:59，中间还有一些我们不想要的参数，后面是我们要的IP地址

 

在logstash的filter中也可以写自定义参数，然后使用patterns_dir指向自定义参数的文件，如下图

 

六、参考文档

由于第一次搭建，本文参考了网上一些比较好的博客并进行了修改，参考的博客如下：

感谢各位博主

https://blog.51cto.com/zero01/2082794

https://www.cnblogs.com/onetwo/p/6059231.html

chenkya
关注
ELK集群搭建(基础教程)
lqcbj的博客
01-30 2951
ELK集群搭建(基础教程) 目录： 机器准备 集群内各台机器安装Elasticsearch 安装部署Kafka（注：每个节点都配置，注意ip不同） 安装logstash工具 安装filebeat ELK收集Nginx的json日志 ELK收集Nginx正常日志和错误日志 ELK收集Tomcat日志 ELK收集docker日志 配置filebeat收集单个docker日志 modules日志收集 使用redis作为缓存收集日志 使用Kafka做缓存收集日志
ELK集群搭建
qq_34204490的博客
03-06 458
一、描述 使用三台虚拟机搭建ELK集群环境 二、实验环境 1.elk离线安装版本：elasticsearch-7.6.0-linux-x86_64.tar.gz 2.虚拟机版本：centos7 3.ip分配：192.168.56.200，192.168.56.201，192.168.56.202 4.JDK环境：jdk11 5.创建新用户：elksearch 三、实战步骤 1....
ELK基础搭建
最新发布
。
08-20 1343
一、认识ELK ELK是一套开源的日志分析系统，由elasticsearch+logstash+Kibana组成。 官网说明：https://www.elastic.co/cn/products 首先: 先一句话简单了解 E，L，K 这三个软件 elasticsearch: 分布式搜索引擎 logstash: 日志收集与过滤，输出给elasticsearch Kibana: 图形化展示 部署环境 192.168.100.115 vm1.example.com vm1 192.168.100.116
ELK集群的搭建
Messi的小迷弟
06-21 187
ELK集群的搭建 一、复制虚拟机 二、修改主机名和主机列表 因为是复制的所以hostname和ip地址都和原主机是相同的，不能直接连接MobaXterm 所以需要修改主机名和ip地址，我复制了两个，所以两个复制的都需要修改 1．网络地址修改 （1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址 test_elk002 test_elk003 2．主机名修改 （1）hostnamectl set-hostname test01 （
『互联网架构』ELK集群的搭建
IT架构圈博客
08-29 1876
说说部署，这里确实要注意下，我自己最开始部署的时候，遇到了很多的坑，会给大家说，避免自己部署的时候在遇到。
Linux下搭建ELK集群
mada26
11-15 457
搭建说明： 1：该安装步骤使用的是work用户（非root用户）安装，root用户安装会有问题，需另外创建非root用户再安装。 搭建步骤： 1.安装jdk1.8 https://blog.csdn.net/mada26/article/details/85322131 2.安装elasticsearch-2.4.6.tar.gz cd /opt/sof......
Docker搭建ELK集群
sinat_33731745的博客
05-19 3433
1. 主机环境设置 insert in /etc/sysctl.conf vm.max_map_count = 262144 or run sysctl -w vm.max_map_count=262144 2. DOCKER DOCKER: https://hub.docker.com/r/cdrocker/elk6/ 启动命令：docker run -d -p 5601:56...
Liunx 搭建 Elk 集群配置 之 Logstash 搭建
m0_46937429的博客
02-06 1148
我的版本是 logstash-7.11.0-linux-x86_64.tar.gz。在bin 目录下（当然也可以在别的目录 我是在bin目录下）输入aaa 发现安装成功。
ELK集群搭建(基础教程）
qq_43279371的博客
11-13 2533
测试创建topic（注：zookeeper保存信息为：topic创建的副本是3个，分区是3个，topic主体叫做Kafkatest）3、传入es的日志为json，那么显示在kibana的格式也是json，便于日志管理。配置主机id（注意：每台主机myid都不一样，每台都要配置）思路：1、将nginx中的日志以json格式记录。2、filebeat采的时候说明是json格式。2、filebeat采的时候说明是json格式。1、配置nginx的日志以json格式记录。2、修改filebeat的配置文件。
elk安装环境搭建（集群）
08-24
elk安装环境搭建（集群）
elk7.5.1集群搭建
yoqu的专栏
03-30 2211
ELK集群搭建 准备两台机器，定义node1、node2 资源前置阶段 kibana、es下载地址: curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz 新增用户 #
ELK集群的搭建详解
qq_48395735的博客
06-21 442
使用VirtualBox、Moba对ELK集群的搭建 一、复制虚拟机 1、找到装好的虚拟机elk002，右键复制，选择专家模式，选择完全复制、当前虚拟电脑状态（M），勾选重新初始化所有网卡的MAC地址（R）、点击复制 该虚拟机命名elk003 2、继续上个操作，重新复制一个虚拟机命名elk004 3、打开elk002、elk003，elk004 二、修改主机名和主机列表 1、修改网络地址 （1）输入：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 （3个窗口全
ELK集群搭建（四）
变成习惯
04-30 971
ELK集群部署（四） ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。 ElasticSearch...
CentOS7搭建ELK集群日志分析平台指南
"ELK集群配置文档0908.md" ELK集群，即Elasticsearch、Logstash和Kibana的组合，是一个广泛使用的日志分析和数据可视化平台。这个集群配置文档主要针对CentOS 7系统，目的是搭建一个高效且功能强大的日志分析平台。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值