分布式ELK平台之Kibana和Logstash

最新推荐文章于 2024-08-16 18:44:59 发布
最新推荐文章于 2024-08-16 18:44:59 发布
阅读量656 收藏 1
点赞数
分类专栏： 云计算 Linux云计算 文章标签： kibana logstash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JReno/article/details/92798383
版权
本文介绍了如何配置Kibana，包括安装、kibana.yml的配置以及数据导入后的日志展示。接着讲解了Logstash的安装、工作结构和类型条件判断，展示了Logstash配置文件的编写，并提到了Filebeat作为轻量级的日志收集工具的配置方法。
摘要由CSDN通过智能技术生成

配置一台虚拟机192.168.1.65
配置yum跟hosts解析

Kibana安装与配置

kibana是什么
  • 数据可视化平台工具
特点:
  • 灵活的分析和可视化平台
  • 实时总结流量和数据的图表
  • 为不同的用户显示直观的界面
  • 即时分享和嵌入的仪表板
kibana安装
  • kibana 的安装非常简单,我们使用 rpm 方式安装
    yum -y install kibana
  • kibana 默认安装在 /opt/kibana 下面,配置文件在/opt/kibana/config/kibana.yml
  • 我们只需要修改少量的配置就可以启动
kibana.yml的配置
[root@kibana ~]# vim /opt/kibana/config/kibana.yml

...	...
server.port: 5601			//端口号
server.host: "0.0.0.0"		//本机监听地址
elasticsearch.url: "http://es-node1:9200"     //任意一个节点都行
kibana.index: ".kibana"		//索引名称
kibana.defaultAppId: "discover"
elasticsearch.pingTimeout: 1500
elasticsearch.requestTimeout: 30000
elasticsearch.startupTimeout: 5000
...	...
  • 除elasticsearch.url需要配置为我们ES集群的地址之外,其他保持默认值
  • 设置开机启动
[root@kibana ~]# systemctl enable kibana
[root@kibana ~]# systemctl start kibana
  • web访问kibana
http://192.168.1.65:5601/

数据导入以后查看logs是否导入成功

在这里插入图片描述
修改Kibana的配置文件后启动Kibana,然后查看ES集群,如果出现.kibana Index表示Kibana与ES集群连接成功
在这里插入图片描述

Kibana里选择日志
  • 支持通配符 *
  • 我们这里选择logstash-*
  • 在下面的Time-field选择@timestramp作为索引
  • 然后点create按钮

在这里插入图片描述

在这里插入图片描述
导入成功以后选择Discover
在这里插入图片描述

修改时间,显示日志时间范围内的数据
在这里插入图片描述

在这里插入图片描述

数据展示
在这里插入图片描述

Kibana展示方式

除了柱状图,Kibana还支持很多种展示方式
在这里插入图片描述

饼图与列表,多种维度自定义统计分析
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
定义子查询
在这里插入图片描述

在这里插入图片描述
列表与饼图

在这里插入图片描述
保存后可以在Dashboard查看

在这里插入图片描述

Logstash配置扩展插件

准备两台虚拟机192.168.1.66(logstash),192.168.1.67(apache)

Logstash是什么
  • 是一个数据采集、加工处理以及传输的工具
特点
  • 所有类型的数据集中处理
  • 不同模式和格式数据的正常化
  • 自定义日志格式的迅速扩展
  • 为自定义数据源轻松添加插件
Logstash安装
  • Logstash依赖Java环境,需要安装java-1.8.0-openjdk
  • Logstash没有默认的配置文件,需要手动配置
  • Logstash安装在/opt/logstash目录下
[root@logstash ~]# yum -y install java-1.8.0-openjdk
[root@logstash ~]# yum -y install logstash
[root@es-web ~]# yum -y install httpd
[root@es-web ~]# systemctl restart httpd
[root@es-web ~]# systemctl enable httpd
Logstash工作结构
{ 数据源 } ==>
	input { } ==>
		filter { } ==>
			output { } ==>
					{ ES }
Logstash类型及条件判断
Logstash里面的类型
  • 布尔值类型: ssl_enable => true
  • 字节类型:
    bytes => “1MiB”
  • 字符串类型: name => “xkops”
  • 数值类型: port => 22
  • 数组: match => [“datetime”,“UNIX”]
  • 哈希: options => {k => “v”,k2 => “v2”}
  • 编码解码: codec => “json”
  • 路径: file_path => “/tmp/filename”
  • 注释: #

Logstash条件判断

  • 等于: ==
  • 不等于: !=
  • 小于: <
  • 大于: >
  • 小于等于: <=
  • 大于等于: >=
  • 匹配正则: =~
  • 不匹配正则: !~
  • 包含: in
  • 不包含: not in
  • 与: and
  • 或: or
  • 非与: nand
  • 非或: xor
  • 复合表达式: ()
  • 取反符合:!()

Logstash配置文件

  • Logstash的第一个配置文件
[root@logstash ~]# vim /etc/logstash/logstash.conf

input{
  stdin{}
}
filter{ }
output{
  stdout{}
}

启动并验证
//制定配置文件

[root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

插件

Logstash插件
  • 上页的配置文件使用了logstash-input-stdin和logstash-output-stdout两个插件, Logstash还有filter和codec类插件,查看插件的方式是
    /opt/logstash/bin/logstash-plugin list
  • 插件及文档地址
    https://github.com/logstash-plugins
codec类插件
  • 常用的插件:plain、json、json_lines、rubydebug、multiline等
  • 使用刚刚的例子,这次输入json数据
  • 设置输入源的codec是json,在输出的时候选择rubydebug
[root@logstash ~]# vim /etc/logstash/logstash.conf

input{
 stdin{ codec => "json" }
}
filter{}
output{
 stdout{ codec => "rubydebug" }
}

[root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

输入普通数据和json对比
{"a": 1, "c": 3, "b": 2}
input file插件
file{
  start_position => "beginning"
  sincedb_path => "/var/lib/logstash/sincedb-access"
  path => [“/tmp/a.log”, “/tmp/b.log”]
  type => 'filelog'  
}
  • sincedb_path记录读取文件的位置"beginning"/“end”
  • start_position配置第一次读取文件从什么地方开始
  • type主要用于过滤器激活
[root@logstash ~]# vim /etc/logstash/logstash.conf

input {
  file {
    start_position => "beginning"
    sincedb_path => "/var/lib/logstash/sincedb-access"
    path => ["/tmp/a.log","/var/tmp/b.log"]
    type => 'filelog'
  }
}
filter{}
output{
 stdout{ codec => "rubydebug" }
}

[root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

重启一个终端,测试写入日志,查看打印

[root@logstash ~]# echo A_${RANDOM} >> /tmp/a.log 
[root@logstash ~]# echo B_${RANDOM} >> /var/tmp/b.log
filter grok插件
  • 解析各种非结构化的日志数据插件
  • grok使用正则表达式把非结构化的数据结构化
  • 在分组匹配,正则表达式需要根据具体数据结构编写
  • 虽然编写困难,但适用性极广
  • 几乎可以应用于各类数据
grok{
   match => [ "message", "%{IP:ip}, (?<key>reg)" ]
}

grok正则分组匹配

  • 匹配ip时间戳和请求方法
    "(?<ip>(\d+\.){3}\d+) \S+ \S+(?<time>.*\])\s+\"(?<method>[A-Z]+)"]
  • 使用正则宏
    %{IPORHOST:clientip} %{HTTPDUSER:ident} %{USER:auth}\[%{HTTPDATE:timestamp}\] \"%{WORD:verb}
  • 最终版本
    %{COMMONAPACHELOG} \"(?<referer>[^\"]+)\"\"(?<UA>[^\"]+)\

系统正则宏的定义文件路径

[root@logstash ~]# ls /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/

初始化所有的数据
删除kibana数据
删除Elasticsearch数据

[root@es-node5 ~]# curl -XDELETE http://192.168.1.64:9200/*
[root@kibana ~]# systemctl restart kibana
output ES插件
if [type] == "filelog"{
  elasticsearch {
    hosts => ["192.168.1.61:9200", "192.168.1.62:9200"]
    index => "filelog"
    flush_size => 2000
    idle_flush_time => 10
  }
}
  • 调试成功后,把数据写入ES集群
input filebeats插件
beats {
  port => 5044
}
  • 这个插件主要用来接收beats类软件发送过来的数据,由于logstash依赖JAVA环境,而且占用资源非常大,因此会使用更轻量的filebeat替代
filebeat安装配置
# yum –y install filebeat
  • 修改配置文件/etc/filebeat/filebeat.yml
  • 设置开机运行
# systemctl enable filebeat
  • 开启服务
# systemctl start filebeat

配置web服务器跟logstash服务器,将web服务器的访问日志,发往logstash服务器处理后保存到elasticsearch,在kibana上查看统计信息

(1)web服务器安装filebeat包,将日志文件发送到制定的ip跟端口

[root@es-web ~]# yum -y install filebeat

(2)修改配置文件

[root@es-web ~]# vim /etc/filebeat/filebeat.yml

...	...
paths:       //定义要发送的log日志文件路径
        - /var/log/httpd/access_log     
...	...
document_type: apache_log		//文件类型,用于接收日志的时候过滤
...	...
 #elasticsearch:
...		...
    #hosts: ["localhost:9200"]
...		...
logstash: 		//定义logstash服务器地址跟监听端口
    hosts: ["192.168.1.66:5044"]
...	...

(3)重启服务,设置开机自启

[root@es-web ~]# systemctl restart filebeat
[root@es-web ~]# systemctl enable filebeat

(4)修改logstash服务器配置文件,设置监听端口跟日志输出ES插件

[root@logstash ~]# vim /etc/logstash/logstash.conf 

input {
  file {
    start_position => "beginning"
    sincedb_path => "/var/lib/logstash/since.db"
    path => ["/tmp/a.log"]
    type => 'testlog'
  }
  beats{
    port => 5044   //定义数据接收监听端口
  }

}
filter{
  if [type] == "apache_log"{		//数据过滤,只有apache_log的数据才处理
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
      }
   }
}
output{
 if [type] == "apache_log"{   //数据过滤,只有apache_log的数据才处理
   elasticsearch {
      hosts => ["192.168.1.61:9200", "192.168.1.62:9200"]    //Elasticsearch节点中的任意几个服务器,写两个是为了实现冗余,提高可靠性
      index => "weblog"
      flush_size => 2000  	//更新的数据攒够2000个字节再写入
      idle_flush_time => 10  	//间隔10s,数据库写入一次数据
   }
 #  stdout{ codec => "rubydebug" }
  }
}

(5)启动配置文件

[root@logstash ~]# /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf

(6)浏览器访问web服务器,观察Elasticsearch和kibana数据统计

firefox http://192.168.1.64:9200/_plugin/head/
firefox http://192.168.1.65:5601/
J.Reno
关注
专栏目录
04： Kibana使用 、 Logstash配置扩展插件
xixi1067087210的博客
10-26 610
Top NSD ARCHITECTURE DAY04 案例1：导入数据 案例2：综合练习 1 案例1：导入数据 1.1 问题 本案例要求批量导入数据： 批量导入数据并查看 1.2 步骤 实现此案例需要按照如下步骤进行。 步骤一：导入数据 使用POST方式批量导入数据，数据格式为json，url 编码使用data-binary导入含有index配置的json文件   [...
linu 搭建ELK(es+kibana+logstash)安装包
12-02
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后...
Kibana和logstash
08-23
用Kibana和logstash快速搭建实时日志查询、收集与分析系统
logstash详解
最新发布
qq_44027353的博客
08-16 1078
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的存储库中。通过Logstash过滤器解析各个事件，识别已命名的字段来构建结构，并将它们转换成通用格式，最终将数据从源端传输到存储库中。机器宕机，数据也不会丢失;
大型架构及配置技术-04 Kibana和Logstash
qq_42147083的博客
10-17 213
一.Kibana使用 1 Kibana 1.1Kibana 安装与配置 Kibana: 数据可视化平台工具 特点: 灵活的分析和可视化平台 实时总结流量和数据的图表 为不同的用户显示直观的界面 即时分享和嵌入的仪表盘 Kibana安装: Kibana的安装非常简单,我们使用rpm方式安装,Kibana默认安装在/opt/kibana下面,配置文件在/opt/kibana/config/kibana...
ELK之Kibana，Logstash
weixin_43800781的博客
01-18 286
Kibana 数据可视化平台 特点：灵活的分析和可视化平台             实时总结流量和数据的图表             为不同的用户显示直观的界面              即时分享和嵌入的仪表板 部署kibana [root@kibana ~]# yum -y install java-1.8.0 [root@kibana ~]# java -version [roo...
Elasticsearch+Logstash+Kibana日志采集服务搭建并简单整合应用
zhanglei500038的博客
04-26 916
ELK是Elasticsearch+Logstash+Kibana的简称Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在是使用最广的开源搜索引擎之一。Logstash 简单来说就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端，与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供了很多功能强大的滤网以满足你的各种应用场景。
es+kibana+logstash
06-29
标题 "es+kibana+logstash" 暗示了我们正在讨论的是 Elastic Stack 的核心组件，即 Elasticsearch、Kibana 和 Logstash。这是一套用于日志管理和分析的强大工具，广泛应用于各种业务场景，包括实时监控、故障排查、...
elk组件（es、kibana、logstash）
09-06
ELK是Elasticsearch、Logstash和Kibana三个开源工具的缩写，它们共同构建了一个强大的日志管理和分析解决方案。下面将详细解释这三个组件及其功能。 **Elasticsearch** Elasticsearch是一款分布式、RESTful风格的...
elasticsearch+kibana+logstash ELK资料整理
05-11
Logstash 负责收集和预处理数据，Elasticsearch 存储并提供快速检索，而 Kibana 则负责数据可视化和交互式分析。对于新手来说，理解并掌握 ELK Stack 的工作原理和配置，能够有效提升日志管理和监控能力。
es-kibana-logstash.txt
12-27
Elasticsearch、Kibana和Logstash构成了著名的ELK Stack（现称为Elastic Stack），它们之间紧密协作，共同构建了一个完整的日志数据收集、存储、搜索和可视化平台。 - **数据收集**：Logstash负责从各种数据源收集...
logstash和kibana安装
feifeichongtian的博客
01-25 563
es已在上篇文章安装过 http://blog.csdn.net/feifeichongtian/article/details/79088274 本章我们来学习安装logstash和kibana。 1:logstash安装 1，下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.0.tar.g
【入门篇】logstash、elasticsearch、kibana搭建日志平台
KongWX
07-28 695
1、下载logstash       a、官方下载地址：https://www.elastic.co/downloads/logstash       b、解压：tar -xzvf logstash-5.1.1.tar.gz       c、设置用户测试的配置文件：vim logstatsh_test.conf，编辑内容如下: input { stdin { }
Kibana和logstash实时日志查询、收集与分析系统
ejinxian的专栏
04-11 978
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）,logstash带有一个web界面，搜索和展示所有日志 kibana 也是一个开源和免费的工具，汇总、分析和搜索重要数据日志并提供友好的web界面 Kibana官网的流程图
kibana 部署、Logstash概述 、Logstash插件使用
李俊的博客
08-29 1068
一、配置kibana 1.1 kibana概述 1.1.1 什么是kibana kibana是一款数据可视化的工具 1.1.2 kibana特点 1.灵活的分析和可视化平台 2.实时总结和流数据的图表 3. 为不同的用户显示直观的界面 4. 即时分享和嵌入的仪表板 1.2 部署Kibana 1.安装kibana ～] # rpm –ivh kibana-4.5.2-1.x86_...
ELK日志分析系统---Logstash和kibana安装
longtiandao的博客
10-29 394
ELK日志分析系统—Logstash和kibana安装 一、logstash介绍 1、概念 一款强大的数据处理工具，可实现数据传输、格式处理、格式化输出，数据输入、数据加工（如过滤，改写等）以及数据输出 2.主要组件 Shipper Indexer Broker Search angd Storage Web Interface 3.实验 apache 虚拟机20.0.0.10 [root@localhost ~]# hostnamectl set-hostname apache [root@localh
elasticsearch kibana logstash(ELK)的安装集成应用
zuixiaoyao_001的博客
09-30 463
&#13; 官网关于kibana的学习指导网址是：https://www.elastic.co/guide/en/kibana/current/index.html 　　Kibana是一个开源的分析和可视化平台，设计用于Elasticsearch。使用Kibana搜索、查看和与存储在Elasticsearch索引中的数据交互。您可以轻松地执行高级数据分析并在各种图表、表和映射...
ELK-6.0.0（二）搭建kibana和logstash服务器
友人A的博客
12-02 858
操作流程 安装kibana 安装logstash 配置logstash kibana上查看日志 收集nginx日志 使用beats采集日志 上篇回顾：https://blog.csdn.net/tladagio/article/details/88222927 一、安装kibana 1、由于上一篇中我们已经配置过yum源，这里就不用再配置了，直接yum安装即可，安装命令如下，在主节...
logstash Kibana 快速搭建实时日志查询
wj971hewei的专栏
12-25 983
用Kibana和logstash快速搭建实时日志查询、收集与分析系统 2013-03-20 13:14:55 标签：logstash Kibana 快速搭建实时日志查询 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://storysky.blog.51cto.com/628458/1158707  
ELKstack中文指南：Kibana与Logstash详解
Kibana是ELK（Elasticsearch、Logstash、Kibana）堆栈中的可视化组件，用于对存储在Elasticsearch中的数据进行探索、分析和展示。虽然在标题和描述中没有提及具体细节，但通常Kibana提供了丰富的仪表板、搜索、图表...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值