elk数据可视化.Elasticsearch,Logstash,Kibana

最新推荐文章于 2023-09-09 15:53:50 发布
最新推荐文章于 2023-09-09 15:53:50 发布
阅读量343 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ff12123/article/details/82048319
版权

ELK简介：
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。
官方文档：
Logstash
Kibana:
Elasticsearch
elasticsearch中文社区

[root@server1 ~]# ls
elk  jdk-8u121-linux-x64.rpm
[root@server1 ~]# yum install jdk-8u121-linux-x64.rpm #由于shijava应用需要安装jdk的包
[root@server1 ~]# cd elk/
[root@server1 elk]# ls
bigdesk-master.zip               jemalloc-devel-3.6.0-1.el6.x86_64.rpm
elasticsearch-2.3.3.rpm          kibana-4.5.1-1.x86_64.rpm
elasticsearch-head-master.zip    logstash-2.3.3-1.noarch.rpm
elk日志分析平台.pdf              nginx-1.8.0-1.el6.ngx.x86_64.rpm
jemalloc-3.6.0-1.el6.x86_64.rpm  redis-3.0.6.tar.gz
[root@server1 elk]# yum install elasticsearch-2.3.3.rpm -y  #下载安装es
[root@server1 elasticsearch]# cd /etc/elasticsearch/
[root@server1 elasticsearch]# ls
elasticsearch.yml  logging.yml  scripts  #配置文件在/etc/elasticsearch/ 下 elasticsearch.yml 为配置文件
[root@server1 elasticsearch]# vim elasticsearch.yml

这里写图片描述
这里写图片描述

[root@server1 elasticsearch]# /etc/init.d/elasticsearch start
Starting elasticsearch:                                    [  OK  ]
[root@server1 bin]# cd /usr/share/elasticsearch/bin/
[root@server1 bin]# ls
elasticsearch  elasticsearch.in.sh  elasticsearch-systemd-pre-exec  plugin
[root@server1 bin]# ./plugin install file:/root/elk/elasticsearch-head-master.zip
-> Installing from file:/root/elk/elasticsearch-head-master.zip...
Trying file:/root/elk/elasticsearch-head-master.zip ...
Downloading .........DONE
Verifying file:/root/elk/elasticsearch-head-master.zip checksums if available ...
NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
Installed head into /usr/share/elasticsearch/plugins/head
[root@server1 bin]# ./plugin ls
ERROR: unknown command [ls]. Use [-h] option to list available commands
[root@server1 bin]# ./plugin list
Installed plugins in /usr/share/elasticsearch/plugins:
    - head
[root@server1 bin]#  cd /var/lib/elasticsearch/

这里写图片描述

这里写图片描述
绿色代表良好
黄色分片为丢失
红色主分片丢失
配置集群节点端配置方法只要更改’node,name id端口等即可

我这里有三个节点，负责的功能可以自己自由组合,在配置文件中加入
node.master: true  为主节点
node.data: false  为数据节点
http.enable: true 可以负责查询

这里写图片描述
这里写图片描述
首先elasticsearch有丰富的api接口
这样时我们对其的操控变得容易的多

logstash日志查询

[root@server1 elk]# rpm -ivh logstash-2.3.3-1.noarch.rpm 
Preparing...                ########################################### [100%]
   1:logstash               ########################################### [100%]

[root@server1 conf.d]# /opt/logstash/bin/logstash -e 'input { stdin{}} output {stdout{ codec => rubydebug }}'
Settings: Default pipeline workers: 1
Pipeline main started
good
{
       "message" => "good",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:45:19.601Z",
          "host" => "server1"
}
boy
{
       "message" => "boy",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:45:27.111Z",
          "host" => "server1"
}
yes
{
       "message" => "yes",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:45:30.421Z",
          "host" => "server1"
}
cool
{
       "message" => "cool",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:45:34.267Z",
          "host" => "server1"
}
Pipeline main has been shutdown
stopping pipeline {:id=>"main"}
[root@server1 conf.d]# cd /etc/logstash/conf.d/
[root@server1 conf.d]# ls
[root@server1 conf.d]# vim es.conf #也可以写入文件中，以.conf结尾的
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/log
login.defs      logrotate.conf  logrotate.d/    logstash/
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/log
login.defs      logrotate.conf  logrotate.d/    logstash/
[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf   #-f指定配置文件
Settings: Default pipeline workers: 1
Pipeline main started
hello
{
       "message" => "hello",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:49:48.930Z",
          "host" => "server1"
}
boy
{
       "message" => "boy",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:49:57.033Z",
          "host" => "server1"
}
internet
{
       "message" => "internet",
      "@version" => "1",
    "@timestamp" => "2018-08-24T02:50:12.046Z",
          "host" => "server1"
}
Pipeline main has been shutdown
stopping pipeline {:id=>"main"}

es.conf内的内容
这里写图片描述
结果查询
这里写图片描述
文件模块的使用方法
将日志导入，在els页面查看

input {
        file {
                path => "/var/log/messages" #这里需要注意的是在后端运行的时候需要增加可读权限
                start_position => "beginning"

}
}
output {
        elasticsearch {
                hosts => ["172.25.19.1"]
                index => "message-%{+YYYY.MM.dd}"
}
}
~

执行一便

[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf 
Settings: Default pipeline workers: 1
Pipeline main started

可以在页面看到
这里写图片描述
日志文件都已经上传成了
其实在程序运行的情况下，以下写入日志也会上传过来，当程序打断再次运行起来的时候不会从头加载了，否则会有许多的重复，对资源来讲是一种浪费，
syslog模块

input {
        syslog {
        port => 514
}
}
output {
        stdout {
                codec => rubydebug
}
}


[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/aa.conf  #指定配置文件启动
，aa.conf的内容为上述内容

Settings: Default pipeline workers: 1
Pipeline main started

查看端口514已经打开
在做一个远程日志同步 将server2的日志传通过514端口输给server1
这里写图片描述
这里写图片描述
在这里终端页面已经显示出来了
这里写图片描述
在myes.log里面的日志是分行的
也可以通过插件来实现在一行输出
这里写图片描述
在文件里面写入filter的multiline插件
这里写图片描述
在终端显示出来，在一行输出
这里写图片描述
还有更多好玩的插件当然需要符合自己的logstash
日志的拆分截取
您可以选择将数据类型转换添加到grok模式。 默认情况下，所有语义都保存为字符串。 如果您希望转换语义的数据类型，例如将字符串更改为整数，则使用目标数据类型将其后缀。 例如％{NUMBER：num：int}，它将num语义从字符串转换为整数。 目前唯一支持的转换是int和float。

input {
        stdin {
}
}
filter {
  grok {
    match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
  }
}
output {
        stdout {
        codec => rubydebug
}

}


[root@server1 conf.d]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf 
Settings: Default pipeline workers: 1
Pipeline main started
55.3.244.1 GET /index.html 15824 0.043
{
       "message" => "55.3.244.1 GET /index.html 15824 0.043",
      "@version" => "1",
    "@timestamp" => "2018-08-24T06:33:30.626Z",
          "host" => "server1",
        "client" => "55.3.244.1",
        "method" => "GET",
       "request" => "/index.html",
         "bytes" => "15824",
      "duration" => "0.043"
}
Pipeline main has been shutdown
stopping pipeline {:id=>"main"}


input {
                file {
                path => ["/var/log/httpd/access_log"]
                start_position => "beginning"

}

}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}"}
  }
}
output {
        stdout {
        codec => rubydebug
}

}
[root@server1 conf.d]# cd /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/
[root@server1 logstash-patterns-core-2.0.5]# ls
CHANGELOG.md  lib                             NOTICE.TXT
CONTRIBUTORS  LICENSE                         patterns
Gemfile       logstash-patterns-core.gemspec  README.md
[root@server1 logstash-patterns-core-2.0.5]# cd patterns/
[root@server1 patterns]# ls
aws     exim           haproxy  linux-syslog          mongodb     rails
bacula  firewalls      java     mcollective           nagios      redis
bro     grok-patterns  junos    mcollective-patterns  postgresql  ruby
[root@server1 patterns]# vim grok-patterns

这里写图片描述
搭建
由nginx的访问日志传递给redis ,并且redis传递给clasticsearch 并由kibana从clas进行数据的可视化
在server1端

input {
                file {
                path => "/var/log/nginx/access.log"
                start_position => "beginning"
}
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG} %{QS:x_forwarded_for}"}
  }
}
output {
        redis {
        host =>  ["172.25.19.2"]
        port => 6379
        data_type => "list"
        key => "logstash:redis"
}
}

在后端启动，所以nginx的日志需要可读权限
我的server2端是redis

input {
        redis {
        host =>  "172.25.19.2"
        port => 6379
        data_type => "list"
        key => "logstash:redis"
}
}
output {
        elasticsearch {
                hosts => ["172.25.19.1"]
                index => "nginx-%{+YYYY.MM.dd}"
}
}

server3端负责kibana
配置文件所在位置

[root@server3 elk]# vim /opt/kibana/config/kibana.yml

这里写图片描述
输入任意一个节点的ip即可
先看看数据都没有elasticsearch
这里写图片描述
在kibana进行操作
这里写图片描述
在里匹配关键字
这里写图片描述
在这里进行配置各种的图像
这里写图片描述

这里写图片描述

Ff12123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据ELK（二十七）：数据可视化（Visualize）
Lansonli（蓝深李）的博客
12-16 2500
全网最详细的大数据ELK文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 数据可视化（Visualize） 一、数据可视化的类型 二、以饼图展示404与200的占比 三、以条形图方式展示2020年5月每日请求数 四、以TSVB可视化不同访问来源的数据 五、​​​制作用户选择请求方式、响应字节大小控制组件 1、控制组件 2、Kibana开发 数据可视化（Visualize） Kibana中的Visualize可以基于Elastics..
企业运维实战--ELK日志分析平台之kibana数据可视化
Rabbit_hyl的博客
08-14 537
企业运维实战--ELK日志分析平台之kibana数据可视化前言--kibana简介kibana数据可视化内部采集插件采集metricbeatfilebeat 前言–kibana简介 kibana数据可视化 rpm -ivh kibana-7.6.1-x86_64.rpm vim /etc/kibana/kibana.yml server.port: 5601 server.host: "172.25.9.7" elasticsearch.hosts: ["http://172.25.9.4:9200"]
ELK日志分析平台(三)----kibana数据可视化
qwerty1372431588的博客
03-11 187
kibana数据可视化1. kibana简介2. kibana安装与配置3. 安装结果4. 使用 1. kibana简介 Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。 将地理数据融入任何地图 精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。 利用 Graph 功能分析数据间的关系 Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stack 进行交互。 2. kibana安装与配置
ELK数据可视化-项目开始
q736317048的博客
08-20 372
对ELK不熟悉的可看之前博客，这里只对数据可视化做讲解 1.为数据表添加主键** 2.打开Elaticsearch 进入bin目录双击运行elasticsearch.bat命令，运行完成后访问 http://127.0.0.1:9200/ 端口 获得json字符串响应说明安装成功，ES集群信息 3.打开kibana 进入bin目录双击运行kibana.bat命令，运行后访问localhost:5601 进入到kibanaWeb页面即启动成功 4.修改导入数据配置 进入bin目录修改mysqltoes.co
elk kibana-数据可视化
CoberOJ_的博客
07-10 552
kibana可用于生成对数据处理，可视化数据，支持json数据源初始化：https://www.elastic.co/start汉化补丁：https://github.com/anbai-inc/Kibana_Hanization使用教程：https://www.elastic.co/guide/cn/kibana/current/getting-started.html...
ELK学习笔记.docx elasticsearch logstash kibana 环境搭建开发
02-03
ELK学习笔记.docx elasticsearch logstash kibana 环境搭建开发
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是...
大数据搜索与日志挖掘及可视化方案——ELK Stack：Elasticsearch Logstash Kibana（第2版）
12-03
大数据搜索与日志挖掘及可视化方案——ELK Stack：Elasticsearch Logstash Kibana（第2版）
大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版
04-24
大数据搜索与日志挖掘及可视化方案 ELK Stack Elasticsearch Logstash Kibana 第2版
资料包-最全ELK+项目【Elasticsearch Logstash Kibana】
07-14
全网唯一，B站视频资料包（不包含视频）https://www.bilibili.com/video/BV1gk4y1k7gd 包括课堂笔记、软件安装包、项目源码、SQL文件等视频中出现的资源。
ELK之可视化展示和轻量采集
m0_46652469的博客
05-27 501
Kibana是一个数据分析和可视化工具，可将Elasticsearch中的数据转化为交互式的图表和仪表盘，帮助用户更好地理解和利用数据。
ELK日志分析平台(四)（kibana 实现数据可视化）
weixin_45649763的博客
05-26 753
文章目录kibana简介安装与配置创建索引匹配基于ES索引创建可视化创建仪表盘创建垂直条形图(访问量排行榜)创建饼图（访问量比例)开发者api kibana简介 kibana，elasticsearch项目的产品之一。官网地址：https://www.elastic.co/products/kibana 。 它是数据可视化工具，提供网页与人交互，将查询语句交给ES处理并将结果可视化。 官方标语为：Explore & Visualize Your Data，探索与可视化你的数据。 Kibana 核心产
ELK 业务数据分析和可视化
lonely_baby的博客
03-05 263
ELK在业务数据分析和可视化方面具有很好的应用和效果，可以大大提高业务数据分析和决策的能力和效率，帮助企业和组织更好地理解业务现状和趋势，制定更有效的业务战略和决策。同时，ELK也可以结合其他数据分析和可视化工具使用，例如Tableau、Power BI、Python等，以扩展数据分析和可视化的功能和灵活性。除了安全事件监测和响应，ELK也可以应用于业务数据分析和可视化。分析和可视化业务数据。
elk日志分析平台以及数据的可视化
coding_1994的博客
05-19 675
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 .
ELK日志分析系统＜3＞--kibana数据可视化（安装、配置、使用）
小螺号的博客
05-11 390
目录一、简介二、安装与配置1.安装2.配置三、使用1.使用本地数据样例展示2.可视化展示elasticsearch中的数据1.生成访问量可视化2.创建柱状图（访问量排行榜）3.创建仪表盘，将上述创建的可视化添加进去 一、简介 Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分
ELK日志分析平台3——kibana数据可视化
qwejiaji的博客
08-29 329
[root@server4 /mnt] cd /etc/kibana/ [root@server4 /etc/kibana] ls apm.js kibana.yml [root@server4 /etc/kibana] vim kibana.yml [root@server4 /etc/kibana] systemctl start kibana.service [root@server4 /etc/kibana] netstat -antlp | grep :5601 tcp 0 .
ELK日志分析平台(三) --- kibana数据可视化
qq_35887546的博客
06-09 541
一、kibana简介 Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。 将地理数据融入任何地图： 精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。 利用 Graph 功能分析数据间的关系： Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stack 进行交互。 二、kibana安装与配置 kibana下载：https://elasticsearch.cn/download/ 注意：下载的版本要和es和logs
【教你通透ELK】 数据可视化工具和技术
最新发布
走向CTO的路上...
09-09 105
在可视化设计器中选择“X-axis”选项卡，并选择“Date Histogram”为“Aggregation”，选择“Field”为“@timestamp”，选择“Interval”为“1m”。它支持多种可视化类型，并提供丰富的查询和分析功能。在可视化设计器中添加两个聚合，选择“Y-axis”选项卡，并选择“Aggregation”为“Count”和“Average”，分别对应请求数量和响应时间。在报表设计器中选择“webapp-access-*”索引模式，并选择“Line chart”可视化组件。
数据存储和可视化（Filebeat+Logstash+Elasticsearch+Kibana）
IT人的日常
03-28 1289
Filebeat+Logstash+Elasticsearch+Kibana 最近有一批数据需要存储，并提供可视化展示，包括基本的检索，下面是学习使用Filebeat+Logstash+Elasticsearch+Kibana的过程： 1：概念解释 Elasticsearch: 一个分布式的 RESTful 风格的搜索和数据分析引擎。（可以理解为“数据仓库”） Logstash:一...
elasticsearch logstash kibana安装
05-10
安装 Elasticsearch、Logstash 和 Kibana（即 ELK）有多种方法，以下是其中的一种： 1. 下载 Elasticsearch、Logstash 和 Kibana 的安装包。可以从官方网站下载最新版本的安装包，也可以从镜像站点下载。 2. 安装 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值