ELK-日志服务【redis-配置使用】

于 2023-07-14 12:31:05 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： ELK-日志服务 文章标签： elk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L596462013/article/details/131720853
版权

目录

环境

【1】redis配置

【2】filebeat配置

【3】对接logstash配置

【4】验证

【5】安全配置：第一种：kibana-nginx访问控制

【6】第二种：在ES-主节点-配置TLS

【7】kibana配置密码

【8】logstash添加用户密码

环境

es-01,kibana

10.0.0.21

es-02

10.0.0.22

es-03

10.0.0.23

filebeat,nginx

10.0.0.25

logstash

10.0.0.26

redis

10.0.0.27

【1】redis配置

[root@redis ~]# vim /etc/redis.conf 
.....
bind 0.0.0.0
.....
requirepass 111
.....

【2】filebeat配置

[root@filebeat ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  tags: ["access"]

- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

output.redis:
  hosts: ["10.0.0.27:6379"]
  password: "111"
  db: 0
  timeout: 5
  keys:
    - key: "filebeat-nginx-access"
      when.contains:
        tags: "access"
    - key: "filebeat-nginx-error"
      when.contains:
        tags: "error"

[root@filebeat ~]# systemctl restart filebeat.service

## 验证redis是否有数据写入,查看key的长度
[root@redis ~]# redis-cli
127.0.0.1:6379> auth 111
OK
127.0.0.1:6379> keys *
1) "filebeat-nginx-access"
2) "filebeat-nginx-error"
127.0.0.1:6379> select 0
OK
127.0.0.1:6379> LLEN filebeat-access
(integer) 19
127.0.0.1:6379> LLEN filebeat-error
(integer) 15
127.0.0.1:6379>

【3】对接logstash配置

[root@logstash ~]# cat /etc/logstash/conf.d/file-redis-log.conf 
input {
  redis {
    host => "10.0.0.27"
    password => "111"
    db => "0"
    data_type => "list"
    key => "filebeat-access"
  }
  redis {
    host => "10.0.0.27"
    password => "111"
    db => "0"
    data_type => "list"
    key => "filebeat-error"
  }
}
 
filter {
    if "access" in [tags][0] {
        grok {
          match => { 
            "message" => "%{COMBINEDAPACHELOG}"
          }
        }
        
        geoip {
            source => "clientip"
        }
        
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
            target => "@timestamp"
            timezone => "Asia/Shanghai"
        }

        useragent {
            source => "agent"
            target => "useragent"
        }
        
        mutate {
            convert => ["bytes","integer"]
            convert => ["response_time", "float"]
            convert => ["upstream_response_time", "float"]
            remove_field => ["message"]
            add_field => { "target_index" => "app-logstash-nginx-access-%{+YYYY.MM.dd}" }	   
      }
 
        # 提取 referrer 具体的域名 /^"http/
        if [referrer] =~ /^"http/ {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST:referrer_host}' }
            }
        }
    
        # 提取用户请求资源类型以及资源 ID 编号
        if "test.com" in [referrer_host] {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST}/(%{NOTSPACE:test_type}/%{NOTSPACE:test_res_id})?' }
            }
        }
    }
 
    else if "error" in [tags][0] {
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
                target => "@timestamp"
                timezone => "Asia/Shanghai"
        }
        mutate {
            add_field => { "target_index" => "app-logstash-nginx-error-%{+YYYY.MM.dd}" }
        }
    }
}
 
output {
    elasticsearch {
        hosts => ["10.0.0.21:9200","10.0.0.22:9200","10.0.0.23:9200"]
        index => "%{[target_index]}"
        template_overwrite => true
    }
}

[root@logstash ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file-redis-log.conf -r

【4】验证

【5】安全配置：第一种：kibana-nginx访问控制

[root@es-01 ~]# yum -y install httpd-tools.x86_64
[root@es-01 ~]# htpasswd -c -b /etc/nginx/basic_passwd kibana 123123
Adding password for user kibana
[root@es-01 ~]# cat /etc/nginx/basic_passwd 
kibana:$apr1$SASZLDcF$mHc2stQeQOCYXeapYhMj7/

[root@es-01 ~]# vim /etc/nginx/conf.d/kibana.conf
server {
  listen 80;
  server_name nginx.kibana.org;
  location / {
     proxy_pass http://127.0.0.1:5601$request_uri;
     auth_basic "请输入用户名、密码";
     auth_basic_user_file /etc/nginx/basic_passwd; 
  }
}

[root@es-01 ~]# systemctl start nginx

【6】第二种：在ES-主节点-配置TLS

## 在主节点配置TLS
[root@es-01 ~]# /usr/share/elasticsearch/bin/elasticsearch-certutil \    
> cert -out /etc/elasticsearch/elasticsearch-certificates.p12 -pass ""

[root@es-01 ~]# chmod 660 /etc/elasticsearch/elasticsearch-certificates.p12 

## 编辑配置文件，添加以下内容，所有节点都需要添加
[root@es-01 ~]# vim /etc/elasticsearch/elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: elasticsearch-certificates.p12

[root@es-02 ~]# vim /etc/elasticsearch/elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: elasticsearch-certificates.p12

[root@es-03 ~]# vim /etc/elasticsearch/elasticsearch.yml
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elasticsearch-certificates.p12
xpack.security.transport.ssl.truststore.path: elasticsearch-certificates.p12

## 将TLS证书拷贝到所有节点
[root@es-01 ~]# scp -rp /etc/elasticsearch/elasticsearch-certificates.p12 root@10.0.0.22:/etc/elasticsearch/
[root@es-01 ~]# scp -rp /etc/elasticsearch/elasticsearch-certificates.p12 root@10.0.0.23:/etc/elasticsearch/

## 重新启动所有节点
[root@es-01 ~]# systemctl restart elasticsearch

## 主节点运行后，集群配置密码，auto随机密码，interactive手动
[root@es-01 ~]# /usr/share/elasticsearch/bin/elasticsearch-setup-passwords auto
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
The passwords will be randomly generated and printed to the console.
Please confirm that you would like to continue [y/N]y


Changed password for user apm_system
PASSWORD apm_system = IFYVDU9pa0BaYqn8bFdi

Changed password for user kibana
PASSWORD kibana = 3S32IGJTj9bpgIy8q4bP

Changed password for user logstash_system
PASSWORD logstash_system = EbaDFZhIMqNMgtMWaBFY

Changed password for user beats_system
PASSWORD beats_system = hFivaRmv8BUGxr11vkRM

Changed password for user remote_monitoring_user
PASSWORD remote_monitoring_user = 68xmYgepf2L40Zr5HPLI

Changed password for user elastic
PASSWORD elastic = PpCC9KV8FnoDepE7DYZU

[root@es-01 ~]#

【7】kibana配置密码

[root@es-01 ~]# vim /etc/kibana/kibana.yml
......
elasticsearch.username: "kibana"
elasticsearch.password: "vERKRjujB5kfukYCT77w"

[root@es-01 ~]# systemctl restart kibana

【8】logstash添加用户密码

 

[root@logstash ~]# cat /etc/logstash/conf.d/file-redis-log.conf 
input {
  redis {
    host => "10.0.0.27"
    password => "111"
    db => "0"
    data_type => "list"
    key => "filebeat-access"
  }
  redis {
    host => "10.0.0.27"
    password => "111"
    db => "0"
    data_type => "list"
    key => "filebeat-error"
  }
}
 
filter {
    if "access" in [tags][0] {
        grok {
          match => { 
            "message" => "%{COMBINEDAPACHELOG}"
          }
        }
        
        geoip {
            source => "clientip"
        }
        
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
            target => "@timestamp"
            timezone => "Asia/Shanghai"
        }

        useragent {
            source => "useragent"
            target => "useragent"
        }
        
        mutate {
            convert => ["bytes","integer"]
            convert => ["response_time", "float"]
            convert => ["upstream_response_time", "float"]
            remove_field => ["message"]
            add_field => { "target_index" => "app-logstash-nginx-access-%{+YYYY.MM.dd}" }	   
      }
 
        # 提取 referrer 具体的域名 /^"http/
        if [referrer] =~ /^"http/ {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST:referrer_host}' }
            }
        }
    
        # 提取用户请求资源类型以及资源 ID 编号
        if "test.com" in [referrer_host] {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST}/(%{NOTSPACE:test_type}/%{NOTSPACE:test_res_id})?' }
            }
        }
    }
 
    else if "error" in [tags][0] {
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
                target => "@timestamp"
                timezone => "Asia/Shanghai"
        }
        mutate {
            add_field => { "target_index" => "app-logstash-nginx-error-%{+YYYY.MM.dd}" }
        }
    }
}
 
output {
    elasticsearch {
        hosts => ["10.0.0.21:9200","10.0.0.22:9200","10.0.0.23:9200"]
        user => "logstash_push_es"
        password => "111111"
        index => "%{[target_index]}"
        template_overwrite => true
    }
  stdout {
    codec => rubydebug
  }
}

 

梦有一把琐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ELK+redis日志服务配置
梦昼初
12-07 403
ELK+redis配置 ---------------------------------------------------------ELK日志应用调整地方----------------------------------------------------------------------------- 应用每个服务添加logback-spring.xml文件，添加配置： <appender name="logstash" class="com.cwbase.logback.Redi
ELK详解（十五）——ELK+Redis配置实战
永远是少年
04-08 3485
今天继续给大家介绍Linux运维相关知识，本文主要内容是ELK搭配Redis做MQ。 一、架构概述 二、将日志信息写入Redis 三、将Redis信息写入Elasticsearch
ELK+redis高级架构
Mr.李的博客
05-27 2394
文章目录前言nginx+redis+filebeat+logstash+elasticsearch+kibana 工作展示图 前言 前面零零碎碎的已经把ELK搭建和收集日志基本都已经说过了，现在把前面的都放到一起，仅做参考： ELK收集nginx正确和错误日志 ELK单体介绍和es群集的搭建 现在这篇解决了高访问量，日志频繁写入的场景，使用redis做高速缓存，再交给logstash做过滤处理，最后提交到es群集里分片存储 nginx+redis+filebeat+logstash+elasticsearc
ELK体系部署文档（elk+filebeat+redis）
Timmy的博客
11-07 696
elk部署(elk+redis+filebeat)
使用 Redis 缓存优化 ELK 日志收集
王清欢的博客
03-15 7029
01 使用 Redis 作为缓存的 ELK 架构 直接使用 Filebeat 在节点上采集日志数据然后直接传输给 Elasticsearch 存储。这种架构有利于日志数据的时效性，但是当日志规模较大时，可能导致 Elasticsearch 存储集群容量不足，或者出现性能瓶颈。 为了解决这一问题，可以使用缓存机制提高 ES 的可靠性和稳定性，即使 ES 集群宕机，在重新恢复之后可以从 Redis 中同步数据。Redis 是一种内存高速缓存数据库，以键值对的方式存储数据，具有可持久化，分布式扩展的特点。 ELK
elk-vagrant-docker：ELK与泊坞窗在无业游民
02-06
这对于开发、测试或学习ELK的使用非常有帮助，无需复杂的系统配置，只需一台装有Vagrant和Docker的电脑即可。 总的来说，"elk-vagrant-docker"项目提供了一种简便的方式，让开发者和数据分析师能够在自己的机器上...
docker-for-symfony：用于Symfony 4的Docker堆栈-NGINX PHP7-FPM MySQL ELK Redis RabbitMQ
02-04
它整合了一系列Docker容器，包括NGINX作为Web服务器、PHP7-FPM处理PHP脚本、MySQL用于数据库存储、ELK（Elasticsearch、Logstash、Kibana）日志管理和分析系统、Redis作为内存数据存储以及RabbitMQ作为消息队列。...
基于Golang+Kratos+MySQL+Redis+Kafka+elk+Opentracing实现的微服务项目
最新发布
07-28
它提供了诸如服务治理、配置管理、熔断降级、限流、日志、链路追踪等功能。 3. **MySQL**：MySQL是一种广泛使用的开源关系型数据库管理系统，适合处理大量数据。在微服务中，MySQL通常用于存储持久化数据，支持事务...
elk(都是6.2.4重点-版本2-收集nginx日志-无filebeat
07-09
- 在一台独立的服务器上安装 Redis，配置并启动服务。 **4. Elasticsearch (192.168.171.131)** - **配置 Logstash**： - 在 Redis 服务器上，配置另一个 Logstash 实例，从 Redis 读取数据并将其写入 Elastic...
第四章：项目：ELK+Filebeat+Redis部署海量日志分析平台1
08-08
在这个项目中，我们将构建一个基于ELK (Elasticsearch, Logstash, Kibana)的海量日志分析平台，并结合Filebeat和Redis来处理和存储大量服务器日志。以下是各个组件的功能和部署步骤的详细说明： 1. **Filebeat**： ...
ELK+Redis 收集tomcat日志文件
09-07
centos6.7 成功搭建并运行elk+redis 按照文档来基本都能成功。
ELK安全设置（简化版）
mjanime的博客
12-14 587
设置用户密码，有两种方式，自动生成和手动生成，自动生成时系统会给每个用户生成随机密码，这个一定要单独记住；手动生成，根据提示给每个用户手动输入密码。1、创建密码库2、存储密码3、启动kibana进行测试，这时再登录kibana会提示输入用户名和密码。
ElasticSearch日志系统 对ELK进行安全性配置
Beyond1536的博客
09-02 1337
目标：对ElasticSearch进行安全性配置。是的输入端（Logstash）和输出端（Kibana）都需要用户身份验证。Filebeat链接Logstash使用ssl验证。 启用ElasticSearch安全功能 使用基本许可证时，默认情况下禁用 Elasticsearch 安全功能。启用 Elasticsearch 安全功能可启用基本身份验证，以便可以使用用户名和密码身份验证运行本地集群。 1. 如果 Kibana 和 Elasticsearch 正在运行，需要停止后再进行操作。 2. 将
ELK搭建（十）：搭建redis运行指标监控平台
55555的博客
05-16 1356
0. 引言 Redis作为基于内存的非关系型数据库，常常被应用于热点数据缓存，它很大程度上为我们关系性数据库提供了性能补充。保证redis的高可用，对应整个应用程序的运行至关重要，一个直观的监控redis运行情况的数据看板可以为我们实时了解redis运行情况提供极大的便利。 话不多说，开始我们今天的监控平台搭建之旅吧 1. 下载 我们的平台是基于elasticsearch+kibana来实现的，也就是我们常说的ELK体系。我们采用Metricbeat插件来采集监控redis的运行数据。 当然我们这里为了保
ELK-Redis架构接入
一起学习吧
07-20 369
ELK-Redis架构接入 1.安装redis #0.机器是复用之前的 10.0.0.161 10.0.0.162 10.0.0.163 安装elasticsearch集群 10.0.0.6 安装nginx和filebeat 10.0.0.151 安装mariadb 10.0.0.7 安装redis #1.安装redis [root@redis ~]# yum install redis -y #2.配置redis（设置密码） [root@redis ~]# grep '^[a
构建ELK海量日志分析平台
02-21
本课程重点构建ELK海量日志分析平台，包括Filebeat多数据源采集、打标记、多行异常信息整合，Logstash数据解析、过滤、清洗，ElasticSearch对数据进行存储、搜索以及分析，Kibana实现大数据分析和数据可视化。 项目核心技术及版本 Java8，Filebeat6.6.1、Logstash6.6.1，ElasticSearch6.6.1，Kibana6.6.1Filebeat：轻量级的托运人，用于转发和集中日志数据。Logstash：监控、过滤、收集各种类型和渠道日志Elasticsearch：存储海量日志并提供实时搜索功能Kibana：提供Web管理界面，功能强大、操作方便，支持查询、统计、图表展现、监控、预警和权限管理。
ELK实时日志分析平台环境部署--完整记录
weixin_34413802的博客
09-29 753
  在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~ ================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生...
docker+elk7.8实战之Elasticsearch安全配置与kibana配套修改
泽济天下的专栏
08-07 1482
本文在上一篇文章基础上介绍了如何使用es提供的xpack工具对传输进行加密以及对应kibana的相关配置修改。
elk7.x开启安全配置
sandaawa的博客
09-29 970
1.使用如下命令生成证书 ./bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass "" 2.在elasticsearch.yml文件中添加以下几条 xpack.security.enabled: true#开启安全策略 xpack.security.transport.ssl.enabled...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦有一把琐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值