ELK服务器

最新推荐文章于 2024-07-18 21:01:57 发布
最新推荐文章于 2024-07-18 21:01:57 发布
阅读量509 收藏 1
点赞数
分类专栏： ELK 文章标签： linux elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JingAAIT/article/details/110871013
版权

ELK

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Filebeat隶属于Beats。目前Beats包含四种工具：

    1. Packetbeat（搜集网络流量数据）
    2. Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
    3. Filebeat（搜集文件数据）
    4. Winlogbeat（搜集 Windows 事件日志数据）

在这里插入图片描述

部署安装ELK服务器

环境准备 (需要java环境)

ELK-1192.168.1.10
ELk-2192.168.1.20
apache192.168.1.30

修改主机名称

[root@localhost ~]# hostnamectl  set-hostname  elk-1
[root@localhost ~]# bash
[root@elk-1 ~]#
[root@localhost ~]# hostnamectl  set-hostname  elk-2
[root@localhost ~]# bash
[root@elk-2 ~]#

在 ELK-1 2 中 /etc/hosts 文件中添加域名解析

[root@elk-1 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.10  elk-1
192.168.1.20  elk-2

上传elasticsearch文件解压安装（ELK—1 2）

[root@elk-1 ~]# ls
anaconda-ks.cfg                     initial-setup-ks.cfg  模板  图片  下载  桌面
elasticsearch-7.9.2-x86_64(新).rpm  公共                  视频  文档  音乐
[root@elk-1 ~]# rpm -ivh elasticsearch-7.9.2-x86_64\(新\).rpm 
警告：elasticsearch-7.9.2-x86_64(新).rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
Creating elasticsearch group... OK
Creating elasticsearch user... OK
正在升级/安装...
   1:elasticsearch-0:7.9.2-1          ################################# [100%]
### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd
 sudo systemctl daemon-reload
 sudo systemctl enable elasticsearch.service
### You can start elasticsearch service by executing
 sudo systemctl start elasticsearch.service
Created elasticsearch keystore in /etc/elasticsearch/elasticsearch.keystore

[root@elk-1 ~]# systemctl  daemon-reload 
[root@elk-1 ~]# sudo systemctl enable elasticsearch.service

Created symlink from /etc/systemd/system/multi-user.target.wants/elasticsearch.service to /usr/lib/systemd/system/elasticsearch.service.

更改配置文件（ELK-1 2）

[root@elk-1 ~]# vim /etc/elasticsearch/elasticsearch.yml
17：cluster.name: my-elk-cluster 集群名字
23：node.name: elk-1  节点名称
33：path.data: /data/elk_data 数据存放路径
37：path.logs: /var/log/elasticsearch/ 日志存放路径 
43：bootstrap.memory_lock: false 不在启动的时候锁定内存 
55：network.host: 0.0.0.0 提供服务绑定的 IP 地址，0.0.0.0 代表所有地址 
59：http.port: 9200 侦听端口为 9200
68：discovery.seed_hosts: ["elk-1", "elk-2"]  集群中的主机
72：cluster.initial_master_nodes: ["elk-1"]  主节点

[root@elk-2 ~]# vim /etc/elasticsearch/elasticsearch.yml
17：cluster.name: my-elk-cluster 集群名字
23：node.name: elk-2  节点名称
33：path.data: /data/elk_data 数据存放路径
37：path.logs: /var/log/elasticsearch/ 日志存放路径 
43：bootstrap.memory_lock: false 不在启动的时候锁定内存 
55：network.host: 0.0.0.0 提供服务绑定的 IP 地址，0.0.0.0 代表所有地址 
59：http.port: 9200 侦听端口为 9200
68：discovery.seed_hosts: ["elk-1", "elk-2"]  集群中的主机
72：cluster.initial_master_nodes: ["elk-1"]  主节点

创建文件所需要的目录（ELK-1 2）

[root@elk-2 ~]# mkdir -p /data/elk_data
[root@elk-2 ~]# mkdir -p /var/log/elasticsearch/
[root@elk-2 ~]# chown elasticsearch:elasticsearch  /data/elk_data/
[root@elk-2 ~]# chown elasticsearch:elasticsearch  /var/log/elasticsearch/
[root@elk-2 ~]#

开启elk（ELK-1 2）

[root@elk-1 ~]# systemctl start elasticsearch.service
[root@elk-1 ~]# netstat -anpt | grep 9200
tcp6       0      0 :::9200                 :::*                    LISTEN      43577/java

查看健康状态（查看集群的健康情况，可以看到 status 为 green 绿色）

http://192.168.1.10:9200/_cluster/health?pretty

http://192.168.1.20:9200/_cluster/health?pretty

http://192.168.1.10:9200/_cluster/state?pretty

http://192.168.1.20:9200/_cluster/state?pretty

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

上传node安装包安装（ELK-1）

[root@elk-1 ~]# ls
anaconda-ks.cfg                     initial-setup-ks.cfg     node-v12.13.0-linux-x64.tar  模板  图片  下载  桌面
elasticsearch-7.9.2-x86_64(新).rpm  node-v12.13.0-linux-x64  公共                         视频  文档  音乐
[root@elk-1 ~]# tar -vxf node-v12.13.0-linux-x64.tar 
[root@elk-1 ~]# mv node-v12.13.0-linux-x64 /usr/local/nodesjs
[root@elk-1 ~]# vim /etc/profile
VERSION=v10.15.0
DISTRO=linux-x64
export PATH=/usr/local/nodesjs/bin:$PATH
[root@elk-1 ~]# source  /etc/profile

安装es-head，上传安装包：es-head.tar.gz解压安装（ELK-1）

# 安装phantomjs
[root@elk-1 ~]# tar  jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 
[root@elk-1 ~]# cd phantomjs-2.1.1-linux-x86_64/bin/
[root@elk-1 bin]# cp phantomjs  /usr/local/bin/

[root@elk-1 ~]# git clone git://github.com/mobz/elasticsearch-head.git
[root@elk-1 ~]# cd elasticsearch-head/
[root@elk-1 elasticsearch-head]# npm install
[root@elk-1 elasticsearch-head]# npm  run start &
[root@elk-1 elasticsearch-head]# netstat -anpt  | grep 9100

修改 elasticsearch 主配置文件，添加如下内容，然后重启 elasticsearch 服务(ELK-1)

[root@elk-1 ~]#  vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true 开启跨域访问支持，默认为 false
http.cors.allow-origin: "*" 跨域访问允许的域名地址
[root@elk-1 ~]# systemctl restart elasticsearch

通过浏览器进行访问：http://192.168.1.10:9100/，并连接集群

在这里插入图片描述

可以看到集群很健康，健康值为 green 绿色。点击数据浏览，可以看到索引、类型为空

在这里插入图片描述

通过命令插入一个测试索引，索引为 index-demo,类型为 test(ELK-1)

[root@elk-1 ~]# curl -XPUT '192.168.1.10:9200/index-demo/test/1?pretty&pretty' -H 'Content-Type:  application/json' -d '{ "user": "zhangsan","mesg":"hello world" }'  # 回车
{
  "_index" : "index-demo",
  "_type" : "test",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}
[root@elk-1 ~]#

刷新浏览器，可以看到创建成功的索引

在这里插入图片描述

安装 logstash 并做一些日志搜集输出到 elasticsearch 中(ELK-1)

[root@elk-1 ~]# rpm -ivh  logstash-7.9.2.rpm 
警告：logstash-7.9.2.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:logstash-1:7.9.2-1               ################################# [100%]
Using provided startup.options file: /etc/logstash/startup.options
/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.31/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecated
Successfully created system startup script for Logstash

[root@elk-1 ~]# systemctl start logstash.service
[root@elk-1 ~]# ln -s /usr/share/logstash/bin/logstash  /usr/local/bin/

logstash 基本使用

Logstash 使用管道方式进行日志的搜集处理和输出。有点类似 linux 系统的管道命令 xxx | ccc | ddd，xxx 执行完了会执行 ccc，然后执行 ddd。 在 logstash 中，包括了三个阶段:
输入 input --> 处理 filter（不是必须的） --> 输出 output
每个阶段都由很多的插件配合工作，比如 file、elasticsearch、redis 等等。
每个阶段也可以指定多种方式，比如输出既可以输出到 elasticsearch 中，也可以指定到 stdout在控制台打印。

由于这种插件式的组织方式，使得 logstash 变得易于扩展和定制。

logstash 命令行中常用的命令: -f：通过这个命令可以指定 Logstash 的配置文件，根据配置文件配置 logstash

-e：后面跟着字符串，该字符串可以被当做 logstash 的配置（如果是“” 则默认使用 stdin
作为输入，stdout 作为输出）

-t：测试配置文件是否正确，然后退出

启动一个 logstash,-e：在命令行执行；input 输入，stdin 标准输入，是一个插件；output 输出，stdout：标准输出

[root@elk-1 ~]#  logstash -e 'input { stdin{} } output { stdout{} }'
[INFO ] 2020-10-22 06:38:09.069 [Api Webserver] agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   #输入
{
    "@timestamp" => 2020-10-22T13:38:19.724Z,
          "host" => "elk-1",
      "@version" => "1",
       "message" => "www.baidu.comwww.baidu.com"
}
www.sina.com.cn  #输入
{
    "@timestamp" => 2020-10-22T13:38:30.823Z,
          "host" => "elk-1",
      "@version" => "1",
       "message" => "www.sina.com.cn"
}

使用 rubydebug 显示详细输出，codec 为一种编解码器

[root@elk-1 ~]# logstash -e 'input { stdin{} } output { stdout{ codec =>rubydebug} }'
22:54:23.075 [Api Webserver] INFO logstash.agent - Successfully started Logstash API 
endpoint {:port=>9600}
www.baidu.com 输入
{
 "@timestamp" => 2017-08-09T14:54:31.236Z,
 "@version" => "1",
 "host" => "elk-node1",
 "message" => "www.baidu.com"
}
www.sina.com.cn 输入
{
 "@timestamp" => 2017-08-09T14:54:39.412Z,
 "@version" => "1",
 "host" => "elk-node1",
 "message" => "www.sina.com.cn"
}

使用 logstash 将信息写入到 elasticsearch 中

[root@elk-1 ~]#  logstash -e 'input { stdin{} } output { elasticsearch { hosts=> ["192.168.1.10:9200"]} }'
[INFO ] 2020-10-22 06:40:44.995 [Ruby-0-Thread-5: :1] elasticsearch - Installing ILM policy {"policy"=>{"phases"=>{"hot"=>{"actions"=>{"rollover"=>{"max_size"=>"50gb", "max_age"=>"30d"}}}}}} to _ilm/policy/logstash-policy

www.baidu.com  #输入
www.sina.com.cn
www.google.com

在 elasticsearch 中查看 logstash 新加的索引

在这里插入图片描述

logstash 配置文件使用

logstash 配置文件基本上由三部分组成，input、output 以及用户需要才添加的 filter，
因此标准的配置文件格式如下：
input {...} 
filter {...} 
output {...}
在每个部分中，也可以指定多个访问方式，例如我想要指定两个日志来源文件，则可以这样写：
input { 
file { path =>"/var/log/messages" type =>"syslog"} 
file { path =>"/var/log/apache/access.log" type =>"apache"} 
}
 下面是一个收集系统日志的配置文件例子，将其放到/etc/logstash/conf.d/目录中，
logstash 启动的时候便会加载。注意要给 logstash 读取日志文件的权限

[root@elk-1 ~]# chmod o+r  /var/log/messages 
[root@elk-1 ~]# ll /var/log/messages 
-rw----r--. 1 root root 746161 10月 22 06:55 /var/log/messages
[root@elk-1 ~]# cd /etc/logstash/conf.d/
[root@elk-1 conf.d]# vim system.conf

input {
 file {   从文件中读取
 path => "/var/log/messages"    文件路径
 type => "system"
 start_position => "beginning"  是否从头开始读取
 } 
}

output {      
 elasticsearch {       输出到 elasticsearch 中
 hosts => ["192.168.1.10:9200"]   elasticsearch 主机地址和端口
 index => "system-%{+YYYY.MM.dd}"  索引名称
 } 
}

重启 logstash 服务

[root@elk-1 conf.d]#  systemctl restart logstash

在浏览器中即可看到新加索引及其内容

在这里插入图片描述

在这里插入图片描述

安装Kibana（注意需要和elasticsearch，logstash同一版本）（ELK-1）

[root@elk-1 ~]# rpm -ivh kibana-5.5.3-x86_64.rpm 
警告：kibana-5.5.3-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
准备中...                          ################################# [100%]
正在升级/安装...
   1:kibana-5.5.3-1 ################################# [100%]
[root@elk-1 ~]# systemctl enable kibana.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/kibana.service to /etc/systemd/system/kibana.service.

设置 kibana 的主配置文件/etc/kibana/kibana.yml

[root@elk-1 ~]# rpm -ivh kibana-7.9.2-x86_64.rpm
server.port: 5601 kibana 打开的端口
server.host: "0.0.0.0" kibana 侦听的地址
elasticsearch.url: "http://192.168.1.10:9200" 和 elasticsearch 建立联系
kibana.index: ".kibana" 在 elasticsearch 中添加.kibana 索引
[root@elk-1 ~]# systemctl start kibana.service

使用浏览器访问 192.168.1.10:5601，第一次登录需要添加一个 elasticsearch 索引，我们添加前面的索引 system-*

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

点击 discover 进行查看

在这里插入图片描述

在这里插入图片描述

可以进行 fields 区域筛选，点击“Available Fields”中的“host”,然后点击添加“add”

在这里插入图片描述

可以看到按照”host”筛选后的结果

在这里插入图片描述

将 apache 服务器的日志添加到 elasticsearch 并通过 kibana 显示

[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl start httpd
[root@localhost ~]# curl 127.0.0.1
[root@localhost ~]# rpm -ivh logstash-7.9.2.rpm
[root@localhost ~]# systemctl enable logstash.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.

编写 logstash 配置文件 apache_log.conf 搜集 apache 日志并执行

[root@localhost ~]# cd /etc/logstash/conf.d/
[root@localhost conf.d]# vim http_log.conf
input {
        file {
                path => "/etc/httpd/logs/access_log"
                type => "access"
                start_position => "beginning"
}
        file {
                path => "/etc/httpd/logs/error_log"
                type => "error"
                start_position => "beginning"
        }
}

        output {
                if [type] == "access" {
                elasticsearch {
                hosts => ["192.168.1.10:9200"]
                index => "apache_access-%{+YYYY.MM.dd}"
        }
 }

        if [type] == "error" {
                elasticsearch {
                hosts => ["192.168.1.10:9200"]
                index => "apache_error-%{+YYYY.MM.dd}"
                }
        }
}
[root@localhost conf.d]#  /usr/share/logstash/bin/logstash -f http_log.conf
JingAAIT
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK 部署
qq_42352516的博客
06-22 287
ELK 部署指南 背景 ELK是elasticsearch，logstash和kibana三个的首字母缩写。 ···elasticsearch是搜索和分析引擎。 logstash是服务器端数据处理管道，能从多个来源采集数据和转换数据，然后将数据发送到类似elasticsearch的存储库中。 kibana则是可以让用户在elasticsearch中通过使用图形和图表数据进行可视化。 环境信息 操作系统： CentOS 7.6 软件版本： 7.13.2 1、jdk16安装 # 下载 wge
安装部署ELK
量子波动猫的博客
08-11 1519
部署ELK
日志服务 elk
U2133048的博客
04-25 350
我们使用微服务开发，一般都会进入集群部署场景，日志文件就会散落到多个服务器上，这时我们要查看日志时，都要到对应的服务器上看，这样子很麻烦，所以得把日志全部归到一个地方去，统一管理，这样就方便查找等了。不需要到处跑。 这里主要用到的是ELK系统，对应elasticsearch、logstash、kibana这三个系统的首字母。 首先这就是一个日志系统： elasticsearch：简单来说...
日志之ELK使用讲解
最新发布
上善若泪
07-18 1265
ELK是一个开源的实时日志分析平台，它主要由Elasticsearch、Logstash 和 Kibana三部分组成。在ELK中，三大组件的大概工作流程如下图所示，由Logstash从各个服务中采集日志并存放至中，然后再由Kiabana从中查询日志并展示给终端用户。
搭建ELK日志服务器
lxy123_com的博客
12-14 1377
实验名称：搭建ELK日志分析服务器 实验要求：搭建ELK日志分析系统并进行验证 实验环境： 一台centos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK主服务器； 一台cnetos7操作系统虚拟机，CUP核心数2,4G运行内存，作为ELK从服务器，实现热备； 一台centos7操作系统虚拟机，无硬性配置要求，作为客户端来进行验证 实验步骤： 1，准备实验环境 [root@localhost ~]# vim /etc/hostname #更改主机名称 elk1.server.org
ELK单台服务器+Nginx部署
whiskeyonice的博客
07-22 721
ELK单台机器部署流程，具体功能不做过多叙述，本次搭建了一个简易的elk+nginx的日志系统，绕了很多次弯，特此记录 准备工作 ！安装前提是必须有jdk1.8以上，jdk环境已经提前备好，故本次省略 ！nginx也已提前部署完成，故省略 ！ 1.0 关闭防火墙 systemctl stop firewalld 1.1 创建elasticsearch用户启动es useradd elasticsearch 1.2 创建一级目录 ```java mkdir /data/ 1.3 进入一级目录 cd /d
ELK集群部署(十)之ELK服务化
攻城狮JasonLong的博客
07-02 198
ELK服务化
Azure-ELK服务器设置
02-16
当我们谈论在Azure上设置ELK服务器时，我们将涉及到一系列与云基础设施、日志管理以及数据分析相关的技术知识点。 首先，**Azure**是微软提供的全球领先的云计算平台，提供多种服务，如虚拟机（VM）、存储、网络和...
ELK服务器indices目录内存过大
07-16
在ELK服务器中，indices目录存储了Elasticsearch索引的数据。如果indices目录的内存占用过大，可以考虑以下几个解决方案： 1. 调整索引的副本数量：默认情况下，每个索引会有5个副本，这些副本会占用额外的磁盘空间...
Rice-University-Cybersecurity-Bootcamp-2020-2021-Project-1:Jacob Small提出的第一个主要项目涉及在Azure云环境中管理三个Web服务器的ELK服务器的构建和部署
03-17
自动化ELK堆栈部署 该存储库中的文件用于配置以下所示的网络。 这些文件已经过测试，并用于在Azure上生成实时ELK部署。 它们可用于重新创建上图所示的整个部署。 或者，选择部分 文件只能用于安装某些文件，例如...
elk服务入门快速搭建
07-11
elk服务入门快速搭建,按照文档搭建必定成功,elk服务入门快速搭建,按照文档搭建必定成功
ELK服务搭建(一)之初识
西魏陶渊明的博客
08-29 1394
ELKE elasticsearch 负责对日志进行索引 L logstash 负责收集日志,输出到els K Kibaba 负责展示es索引的页面 Kibaba5.5.0 只支持Es5.5.0及以上版本安装 elasticsearch 注意问题 Likely root cause: expected '<document start>', but found BlockMappin
elk 部署
jialiu111111的博客
01-21 1212
https://artifacts.elastic.co/downloads/logstash/logstash-7.5.2.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-7.5.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz tar -zxvf ela
ELK部署
qq_44692240的博客
03-16 242
文章目录ELK部署ELK组成ELK作用ELK安装软件前置配置单机安装Elasticsearch集群安装插件Elasticsearch管理 （增删改查）Kibana安装Logstash安装filebeat安装 ELK部署 ELK组成 Elasticsearch: 负责日志检索和储存（数据库） Node: 装有一个ES服务器的节点 Cluster: 有多个Node组成的集群 Index: 拥有相似特征的文档的集合 Type: 一个索引中可以定义一种或多种类型 Document: 一个可被
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值