学习ELK日志分析系统

最新推荐文章于 2024-05-05 14:29:52 发布
最新推荐文章于 2024-05-05 14:29:52 发布
阅读量161 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50981675/article/details/113933781
版权

安装配置Kibana和Logstash

一、安装配置Kibana
1、安装
之前安装elasticsearch的时候已经配置好了yum源可直接用

[root@elk-1 ~]# yum install -y kibana

也可以下载rpm包安装
在这里插入图片描述

2、配置

[root@elk-1 ~]# vi /etc/kibana/kibana.yml （向文件力添加以下几行内容）
[root@elk-1 ~]# egrep -v '^$|^#' /etc/kibana/kibana.yml 
server.port: 5601
server.host: "192.168.200.70"
elasticsearch.url: "http://192.168.200.70:9200"
[root@elk-1 ~]# systemctl start kibana   （启动）
[root@elk-1 ~]# ps -ef | grep kibana  （查看进程是否存在）
kibana     4376      1 99 10:28 ?        00:00:10 /usr/share/kibana/bin/../node/bin/node --no-warnings --max-http-header-size=65536 /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml
root       4391   4140  0 10:28 pts/0    00:00:00 grep --color=auto kibana
[root@elk-1 ~]# netstat -lntp |grep node  （查看端口是否开启）
tcp        0      0 192.168.200.70:5601     0.0.0.0:*               LISTEN      4376/node

3、进入浏览器访问
在这里插入图片描述
二、安装配置logstash
（在elk-2节点上安装）
1、安装
[root@elk-2 ~]# yum install -y logstash
或者
使用rpm包，下载地址
在这里插入图片描述

2、logstash收集系统日志 （配置日志输出到屏幕上）
配置/etc/logstash/conf.d/syslog.conf文件
文件是新建文件需要自己添加以下内容，（建立的文件要求放在conf.d下并且以 .conf结尾）

[root@elk-2 ~]# vi /etc/logstash/conf.d/syslog.conf
input {                        ## 指定去哪里收集日志
  syslog {
    type => "system-syslog"
    port => 10514
  }
}
output {             ## 日志输出到哪里
  stdout {
    codec => rubydebug
  }
}

~
~
~
~
~
"/etc/logstash/conf.d/syslog.conf" [New] 12L, 123C written

检查配置文件是否有问题
建立一个软链接一方便用logstash命令

[root@elk-2 ~]#   ln -s /usr/share/logstash/bin/logstash /usr/bin

检查刚刚的文件是否有错误
据说有OK就可以

[root@elk-2 ~]# logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2021-03-05T16:57:02,919][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/var/lib/logstash/queue"}
[2021-03-05T16:57:02,950][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/var/lib/logstash/dead_letter_queue"}
[2021-03-05T16:57:03,603][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
Configuration OK
[2021-03-05T16:57:08,853][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

标准的
在这里插入图片描述
检测是否监听到10514端口
添加*.* @@192.168.200.80:10514在#### RULES ####下，IP填自己的

[root@elk-2 ~]# vi /etc/rsyslog.conf 
······  前面的省略
#### RULES ####

*.* @@192.168.200.80:10514

重启 rsyslog服务

[root@elk-2 ~]# systemctl restart rsyslog

启动logstash服务

[root@elk-2 ~]#  logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf
Sending Logstash logs to /var/log/logstash which is now configured via log4j2.properties
[2021-03-05T17:02:50,539][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified
[2021-03-05T17:02:50,566][INFO ][logstash.runner          ] Starting Logstash {"logstash.version"=>"6.8.14"}
[2021-03-05T17:02:50,609][INFO ][logstash.agent           ] No persistent UUID file found. Generating new UUID {:uuid=>"e1585b8a-dbb8-44f0-9024-2a0debb59465", :path=>"/var/lib/logstash/uuid"}
[2021-03-05T17:02:56,830][INFO ][logstash.pipeline        ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50}
[2021-03-05T17:02:57,224][INFO ][logstash.pipeline        ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0x2f4516b3 run>"}
[2021-03-05T17:02:57,289][INFO ][logstash.inputs.syslog   ] Starting syslog tcp listener {:address=>"0.0.0.0:10514"}
[2021-03-05T17:02:57,294][INFO ][logstash.inputs.syslog   ] Starting syslog udp listener {:address=>"0.0.0.0:10514"}
[2021-03-05T17:02:57,312][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2021-03-05T17:02:57,603][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2021-03-05T17:03:01,699][INFO ][logstash.inputs.syslog   ] new connection {:client=>"192.168.200.80:35625"}
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/awesome_print-1.7.0/lib/awesome_print/formatters/base_formatter.rb:31: warning: constant ::Fixnum is deprecated
{
    "facility_label" => "clock",
          "severity" => 5,
              "host" => "192.168.200.80",
        "@timestamp" => 2021-03-05T09:03:01.000Z,
         "timestamp" => "Mar  5 17:03:01",
          "@version" => "1",
    "severity_label" => "Notice",
              "type" => "system-syslog",
               "pid" => "3669",
          "priority" => 77,
           "message" => "Job `cron.weekly' started\n",
           "program" => "anacron",
          "facility" => 9,
         "logsource" => "elk-2"
}
{
    "facility_label" => "clock",
          "severity" => 5,
              "host" => "192.168.200.80",
        "@timestamp" => 2021-03-05T09:03:01.000Z,
         "timestamp" => "Mar  5 17:03:01",
          "@version" => "1",
    "severity_label" => "Notice",
              "type" => "system-syslog",
               "pid" => "3669",
          "priority" => 77,
           "message" => "Job `cron.weekly' terminated\n",
           "program" => "anacron",
          "facility" => 9,
         "logsource" => "elk-2"
}
{
    "facility_label" => "security/authorization",
          "severity" => 6,
              "host" => "192.168.200.80",
        "@timestamp" => 2021-03-05T09:05:06.000Z,
         "timestamp" => "Mar  5 17:05:06",
          "@version" => "1",
    "severity_label" => "Informational",
              "type" => "system-syslog",
               "pid" => "4962",
          "priority" => 86,
           "message" => "Accepted password for root from 192.168.200.90 port 34878 ssh2\n",
           "program" => "sshd",
          "facility" => 10,
         "logsource" => "elk-2"
}
······

自己不会推出，可以Ctrl+C推出
3、配置日志输出给elasticsearch
修改刚刚配置的文件

[root@elk-2 ~]# vi /etc/logstash/conf.d/syslog.conf
  stdout {
    codec => rubydebug
  }
input {
  syslog {
    type => "system-syslog"
    port => 10514
  }
}
output {          ## 修改输出到哪里
elasticsearch {
    hosts => ["192.168.200.80:9200"]   ## 这里IP写自己的IP
    index => "system-syslog-%{+YYYY.MM}"
  }

}
~
~
"/etc/logstash/conf.d/syslog.conf" 13L, 183C written

配置logstash本身的一个文件

[root@elk-2 ~]# vi /etc/logstash/logstash.yml 
添加
http:host: "192.168.200.80"

然后重启logstash服务

[root@elk-2 ~]# systemctl start logstash

查看9600和10514端口是否开启

[root@elk-2 ~]# netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1513/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1989/master         
tcp6       0      0 192.168.200.80:9200     :::*                    LISTEN      3942/java           
tcp6       0      0 :::10514                :::*                    LISTEN      4887/java           
tcp6       0      0 192.168.200.80:9300     :::*                    LISTEN      3942/java           
tcp6       0      0 :::22                   :::*                    LISTEN      1513/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      1989/master         
tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      4887/java

上主服务器查看索引信息

[root@elk-1 ~]# curl '192.168.200.70:9200/_cat/indices?v'
health status index                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana               3_bxLRpQTu2QUGhAROS6sw   1   1          1            0      7.3kb          3.6kb
green  open   system-syslog-2020.11 7TpxxLo4TOuQxqpqdkC2Zw   5   1          4            0     10.9kb           466b

将system-syslog-*输入进去，点击create
在这里插入图片描述
这样即表示索引成功
在这里插入图片描述
去discocer（发现）查看日志
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

要保证虚拟机哈浏览器时间一致，才能索引出日志
4、更新日志
elk-3登录elk-2更新日志

[root@elk-3 ~]# ssh root@elk-2
root@elk-2's password: 
Last login: Thu Nov 26 07:39:20 2020 from elk-3

在这里插入图片描述

月亮归我了
关注
专栏目录
ELK日志分析平台实战-----（二）-----logstash数据采集
xrt0211的博客
06-14 979
ELK日志分析平台实战-----（二）-----logstash数据采集 1.logstash简介 Logstash是一个开源的服务器端数据处理管道。 logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。） Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。 输入：采集各种样式、大小和来源的数据 4. Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。 5.
ELK日志分析
2401_84166811的博客
04-27 1016
日志分析是运维工程师解决系统故障，发现、定位问题的主要途径。日志主要包括系统日志、应用程序日志和安全日志系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。elk 日志分析的工具（一般会给研发/开发+测试使用），管理的权限范围，不一定所有人全有。通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志，即繁琐又效率低下。
Logstash 使用小结
qq_32783151的博客
05-27 984
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜索和图表可视化，它是调用Elasticsearch的接口返回的数据进行可视化。logstash和Elasticsearch是用.
如何快速搭建一个简易的ELK日志分析系统
向心行者
05-17 8040
一、ELK简介   ELK就是一款非常优秀的、开源的、用于搭建实时日志分析平台的组件。ELK是Elasticsearch、Logstash和Kiabana这3款开源框架首字母的缩写。通过这三个组件，构建一个统一的日志管理系统，用来收集分布式部署系统中分散在不同设备上的日志，方便后续进行日志分析。   其中，Elasticsearch是一个实时的分布式搜索和分析引擎，建立在全文搜索引擎Apache Lucene基础之上，使用Java语言编写，具有分布式、高可用性、易扩展、具有副本和索引自动分片功能、提供基于H
elk日志分析系统_部署ELK企业内部日志分析系统
weixin_39636696的博客
11-05 518
部署ELK企业内部日志分析系统一、实验环境二、基本环境部署1.IP地址配置 2.主机名配置三台节点hosts文件要一致 [root@yichen-els-node1 ~]# cat /etc/hosts 192.168.150.30 yichen-els-node1 192.168.150.31 yichen-els-node2 192.168.150.32 yichen-els...
logstash killed 解决 dmesg
yangyangrenren的专栏
02-27 1609
背景：在云服务器上，使用logstash进行两个es之间的数据同步，刚开始同步不到半分钟（很短的时间），然后就提示 [2019-02-27T15:09:38,036][INFO ][logstash.pipeline ] Pipeline started successfully {:pipeline_id=&gt;"main", :thread=&gt;"#&lt;Thread:0...
ELK日志分析系统
04-30
### ELK日志分析系统详解 #### 一、ELK平台概述 ELK栈是由Elasticsearch、Logstash和Kibana三个核心组件组成的开源工具集合，主要用于收集、存储、分析和可视化各种类型的日志数据。 ##### 1.1 ELK概述 - **...
13-ELK日志分析系统.pdf
08-27
ELK日志分析系统是一套广泛应用于日志管理的开源工具集，它由Elasticsearch、Logstash和Kibana三个组件构成，它们各自负责不同的功能，以实现日志的收集、处理、存储和可视化分析。 首先，Elasticsearch是一个基于...
OpenStack环境搭建ELK日志分析系统.zip
07-22
在OpenStack环境中构建ELK日志分析系统是一项关键任务，特别是在大规模云计算平台中，日志管理对于监控、故障排查和性能优化至关重要。ELK（Elasticsearch、Logstash和Kibana）组合提供了强大的日志收集、存储、搜索...
2024年Java最全搭建ELK日志分析系统(1)，Java程序员必会
最新发布
2401_84692595的博客
05-05 864
最近我根据上述的技术体系图搜集了几十套腾讯、头条、阿里、美团等公司21年的面试题，把技术点整理成了视频（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，这里以图片的形式给大家展示一部分。我的是这样启动：sh logstash -f logstash1.conf --path.data=/home/elk/logstash-6.4.2/logs &可以把解压后的mysql-connector-java-5.1.46-bin.jar复制到bin目录，方便启动。
logstash启动过慢甚至卡死
Zhang Phil
06-28 1271
logstash部署后，前几次启动时间还算正常，但是越往后启动时间越长，甚至有时候感觉卡死了一样不动，解决方法之一，修改conf文件夹下面的jvm.options里面的两个值：Xms和Xmx，默认这两个值为1g，即内存大小（v8.2.3）。如果机器物理内存空间很大，那当然这两个值设置高些最好。一般机器，可以设置成2g、4g、6g、8g等，视机器自身物理内存大小而定：......
logstash mysql报错_elk系列教程：logstash报错处理
weixin_39747721的博客
12-21 806
com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?巨坑的一个问题，困扰了我一个多礼拜。今天才发现是驱动包不对导致的，一直都以为是docker的路径问题，各种查问题。错误信息：[2019-07-30T09:22:00,865][E...
1.修改logstash的配置项，以及logstash的配置项解析日志：
sandy
11-10 3482
1.conf结尾的文件即可，如下图所示： 首先了解一下，logstash的过程，如下图所示： 从配置文件来表述过程如下所示： 然后进入bin目录下，进行执行conf文件加载进去bat文件中去。 然后进入bin目录下执行该文件如下，并执行成功；   logstash的架构设计： 根据打开文件的quene可知： 如果有多个不同的输入，由quene作为一个缓冲队列来分...
ELK环境的部署与安装
Grocery
11-16 3140
ELK简介 Elasticsearch：是一个高度可扩展的开源全文搜索和分析引擎。能够快速，实时的存储，搜索和分析大量数据，通常用做底层引擎技术。 Kibana：是一个开源分析和可视化平台，是进入Elastic Stack的窗口，可以在Elasticsearch中对程序的数据进行可视化探索和实时分析，旨在与Elasticsearch协同工作。 使用Kibana搜索，查看和与存储在Elasticse...
Logstash学习之路（一）Logstash的安装
weixin_30423977的博客
04-24 515
一、Logstash简介 Logstash 是一个实时数据收集引擎，可收集各类型数据并对其进行分析，过滤和归纳。按照自己条件分析过滤出符合数据导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输，数据标准格式处理，数据格式化输出等的功能，常用于日志处理。工作流程分为三个阶段： 　　（1）input数据输入阶段，可接收oracle、mysql、postgresql、file等多种数据...
大数据实时日志收集工具logstash 安装
liweijie231的博客
08-30 635
1， 解压文件 安装在 cd /usr/local/ tar -zxvf logstash-6.2.1.tar.gz 2, 配置文件1: simple.conf文件 input { stdin {} } output { stdout { codec =&amp;gt; rubydebug } } 配置文件1:运行输出 [root@localhost config...
docker-compose安装ELK7.12.0并启用x-pack及kibana设置日志报警
lihongbao80的专栏
12-03 2048
k8s的filebeat配置文件地址/home/k8s_filebeat ip（uat-192.168.180.37,prd-192.168.192.10） 现部署地址192.168.181.52:/home/stack_elk 前提： 1、数据来源于redis中的数据（filebeat推送到redis中） 2、centos7、Docker version 18.03.1-ce 目录结构： stack_elk/ ├── certs ├── create-certs.yml ├── data01 ├──
ELK远程日志log监控
weixin_30478757的博客
10-28 254
Master机器运行命令： mkdir -p /var/log/logstash mkdir -p /var/log/kibana mkdir -p /var/log/elasticsearch docker run -v /tmp:/tmp -v /log:/log -v /var/log:/var/log -p 5601:5601 -p 9200:9200 -p 930...
ELK搭建日志分析系统
iOLO的博客
03-06 2338
记录ELK的搭建过程和遇到的问题， 所有下载链接都在官方下载地址 建议服务器配置高一些，例如2HG ES安装 下载后上传到对应的服务器位置 解压 ： tar -xzvf file.tar.gz 配置磁盘，当磁盘大于95%，就只能读取，不能写入 cluster.routing.allocation.disk.threshold_enabled: false 解压后，进入对应目录，启动，因为e...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值