logstash集合redis实现多类型数据收集(小节4)

最新推荐文章于 2024-07-25 19:51:47 发布
最新推荐文章于 2024-07-25 19:51:47 发布
阅读量86 收藏
点赞数
文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/soul_2016/article/details/132978663
版权

highlight: a11y-dark

theme: juejin

logstash收集日志并写入redis

用一台服务器按照部署redis服务，专门用于日志缓存使用，用于web服务器产生大量日志的场景，例如下面的服务器内存即将被使用完毕，查看是因为redis服务保存了大量的数据没有被读取而占用了大量的内存空间。

redis(104)

安装redis

apt install redis -y

修改redis配置文件

vim /etc/redis/redis.conf
#监听地址
bind 0.0.0.0

#打开此项
save ""
#注释掉下面三项
#save 900 1
#save 300 10
#save 60 10000

#AOF
appendonly no

#redis密码
requirepass 123456

重启服务

systemctl restart redis

测试

~# redis-cli
127.0.0.1:6379> AUTH 123456
OK
127.0.0.1:6379> KEYS *
(empty list or set)

web1(106)

pwd
/etc/logstash/conf.d

vim log-to-redis.conf

input {
  stdin {
  }
}

output {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37-106"
    data_type => "list"
    db => 1
  }
  stdout {
    codec => "rubydebug"
  }
}

检查

/usr/share/logstash/bin/logstash -f log-to-redis.conf -t

停服务

systemctl stop logstash

启动、输入信息

/usr/share/logstash/bin/logstash -f log-to-redis.conf
...省略中间部分
#输入信息
2023-05-13 INFO started nginx
{
      "@version" => "1",
          "host" => "web1",
       "message" => "2023-05-13 INFO started nginx",
    "@timestamp" => 2023-05-13T13:28:27.594Z
}

redis(104)

可以看到刚刚添加了一条消息

#切换数据库
127.0.0.1:6379> SELECT 1
OK

#查看key
127.0.0.1:6379[1]> KEYS *
1) "logstash-log-37-106"

#查看数据格式
127.0.0.1:6379[1]> TYPE logstash-log-37-106
list

#查看列表中有多少数据
127.0.0.1:6379[1]> LLEN logstash-log-37-106
(integer) 1

wb1(106)

#输入信息
start tomcat
{
    "@timestamp" => 2023-05-13T13:29:59.310Z,
       "message" => "start tomcat",
          "host" => "web1",
      "@version" => "1"
}

redis(104)

127.0.0.1:6379[1]> LLEN logstash-log-37-106
(integer) 2

127.0.0.1:6379[1]> LPOP logstash-log-37-106
"{\"message\":\"start tomcat\",\"@timestamp\":\"2023-05-13T13:29:59.310Z\",\"@version\":\"1\",\"host\":\"web1\"}

#删除
127.0.0.1:6379[1]> DEL logstash-log-37-106
(integer) 1

wb1(106)

修改文件

cat log-to-redis.conf
input {
  file {
    path => "/var/log/access.log"
    type => "nginx-access-log"
    start_position => "beginning"
  }
}

output {
  if [type] == "nginx-access-log" {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37-106"
    data_type => list
    db => 1
  }}
}

重启logstash

systemctl restart logstash

启动nginx

/apps/nginx/sbin/nginx

访问页面、生成新的日志

图片.png

redis(104)

json格式在线转换： https://www.sojson.com/

127.0.0.1:6379[1]> KEYS *
1) "logstash-log-37-106"

#可以复制下来在json格式转换看一下
127.0.0.1:6379[1]> LPOP logstash-log-37-106
"{\"message\":\"{\\\"@timestamp\\\":\\\"2023-05-15T09:41:08+08:00\\\",\\\"host\\\":\\\"192.168.37.106\\\",\\\"clientip\\\":\\\"192.168.37.1\\\",\\\"size\\\":0,\\\"responsetime\\\":0.000,\\\"upstreamtime\\\":\\\"-\\\",\\\"upstreamhost\\\":\\\"-\\\",\\\"http_host\\\":\\\"192.168.37.106\\\",\\\"uri\\\":\\\"/index.html\\\",\\\"domain\\\":\\\"192.168.37.106\\\",\\\"xff\\\":\\\"-\\\",\\\"referer\\\":\\\"-\\\",\\\"status\\\":\\\"304\\\"}\",\"type\":\"nginx-access-log\",\"@timestamp\":\"2023-05-15T01:41:09.279Z\",\"@version\":\"1\",\"path\":\"/var/log/access.log\",\"host\":\"web1\"}"

图片.png

logstash(103)

cd /etc/logstash/conf.d/

vim redis-to-es.conf
input {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37.106"
    data_type => list
    db => 1
  }
}

output {
  stdout {
    codec => "rubydebug"
  }
}

停服务

systemctl stop logstash

测试

/usr/share/logstash/bin/logstash -f redis-to-es.conf -t

启动

/usr/share/logstash/bin/logstash -f redis-to-es.conf

编辑文件

vim redis-to-es.conf

input {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37-106"
    data_type => list
    db => 1
    #日志json格式
    codec => "json"
  }
}

output {
  if [type] == "nginx-access-log" {
    elasticsearch {
    #101或102都可以
      hosts => ["http://192.168.37.101:9200"]
      index => "logstash-nginx-access-log-37-106-%{+YYYY.MM.dd}"
  }}
}

启服务

systemctl restart logstash

web1(106)

#添加codec => "json"   
cat log-to-redis.conf
input {
  file {
    path => "/var/log/access.log"
    type => "nginx-access-log"
    start_position => "beginning"
    codec => "json"
  }
}

output {
  if [type] == "nginx-access-log" {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37-106"
    data_type => list
    db => 1
  }}
}

重启服务

systemctl restart logstash

删除旧的： http://192.168.37.101:5601--->管理--->索引管理--->

图片.png

重新访问

图片.png 如果页面还有别的、说明103主机'/etc/logstash/conf.d'中还有别的日志文件(如图)

图1.png

添加索引模式 添加索引模式1.png

添加索引模式2.png

创建可视化

图片.png

图片.png

图片.png

图片.png

通过logstash收集多个不同日志

web1(106)

cat log-to-redis.conf
input {
  file {
    path => "/var/log/access.log"
    type => "nginx-access-log"
    start_position => "beginning"
    codec => "json"
  }

  file {
    path => "/var/log/syslog"
    type => "syslog-37-106"
    start_position => "beginning"
  }
}

output {
  if [type] == "nginx-access-log" {
    redis {
      host => "192.168.37.104"
      port => "6379"
      password => "123456"
      key => "logstash-log-37-106"
      data_type => list
      db => 1
    }}

  if [type] == "syslog-37-106" {
    redis {
      host => "192.168.37.104"
      port => "6379"
      password => "123456"
      key => "syslog-37-106"
      data_type => list
      db => 2
    }}
}

重启服务

systemctl restart logstash

redis(104)

刷新页面

图片.png 查看是否有日志

127.0.0.1:6379[2]> SELECT 2
OK
127.0.0.1:6379[2]> KEYS *
1) "syslog-37-106"

127.0.0.1:6379[2]> LPOP syslog-37-106
"{\"@timestamp\":\"2023-05-15T08:12:56.380Z\",\"type\":\"syslog-37-106\",\"host\":\"web1\",\"path\":\"/var/log/syslog\",\"@version\":\"1\",\"message\":\"May 13 15:47:32 web1 logstash[1971]:     \\\"@timestamp\\\" => 2023-05-13T07:47:32.733Z,\"}"

logstach(103)

#当前所在目录
pwd
/etc/logstash/conf.d

#配置信息
cat redis-to-es.conf 
input {
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "logstash-log-37-106"
    data_type => list
    codec => "json"
    db => 1
  }
  redis {
    host => "192.168.37.104"
    port => "6379"
    password => "123456"
    key => "syslog-37-106"
    data_type => list
    db => 2
  }
}

output {
  if [type] == "nginx-access-log" {
    elasticsearch {
      hosts => ["http://192.168.37.101:9200"]
      index => "logstash-nginx-access-log-37-106-%{+YYYY.MM.dd}"
  }}
  if [type] == "syslog-37-106" {
    elasticsearch {
      hosts => ["http://192.168.37.101:9200"]
      index => "logstash-log-37-106-%{+YYYY.MM.dd}"
  }}
}

重启服务

systemctl stop logstash

检查

/usr/share/logstash/bin/logstash -f redis-to-es.conf -t

启动

systemctl restart logstash

logstash-log-37-106.png

添加到kibana

添加到kibana.png

Soul_2016
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis抓取数据到Logstash再推到Elasticsearch集群
万物皆可学
01-30 287
前面安装过Logstash了，不做解释直接跳过。
Logstash——Logstash从Redis中收集数据并输出
大风的博客
04-25 4003
之前关于logstash数据源的文章，可以看这里 Logstash——配置介绍，数据输入配置（input） Logstash——Logstash从MySQL中收集数据并输出添加 之前介绍过如何使用文件系统通过Logstash将数据推送至elasticsearch来实现日志的线上分析。而这次介绍的是使用redis作为数据源进行数据操作的方法 Logstash-Redis数据源配置 最开始先看下...
logstash读取redis中的数据
c_zyer的博客
08-11 2817
本文描述了一个简单的case，就是怎么在logstash进行配置，讲多个日志数据流，通过redis缓存接收，再导出到elasticsearch索引。 假设有两组日志数据由日志端写入redis缓存，两组日志标记其类型为redis-data-A和redis-data-B，则编写logstash配置文件如下 input { redis { host => “127.0.0.1” typ
logstash 操作redis
weixin_30718391的博客
08-19 166
在实际应用中,Logstash进程会被氛围两个不同的角色。 运行在应用服务器上的尽量减轻运行压力,只做读取和转发,这个角色叫做shipper 运行在独立的服务器上完成数据解析处理,负责写入到Elasticsearch的角色,叫做Indexer 5.1.1 读取redis 数据: zjtest7-frontend:/usr/local/logstash-2.3.4/confi...
【全网首发！Logstash-input-redis支持集群】
weixin_44805217的博客
10-09 779
修改Logstash插件源码以结合Redis集群
logstash通过redis收集日志
cxu123321的博客
04-17 391
logstash通过redis收集日志 （1）部署redis 1丶安装redis yum install epel-release -y yum install redis -y 2丶修改配置文件 #vim /etc/redis.conf bind 0.0.0.0 daemonize yes save "" requirepass 123456 3.启动red...
logstash-filter-dedupe:Redis的重复数据删除过滤器
05-17
对于初学者来说，此插件将redis用作其数据存储，以便您可以让多个logstash节点共享相同的重复数据删除信息。 您需要下载redis并将其安装在某个地方。 接下来，您需要使用/opt/logstash/bin/plugin -install ...
logstash-jdbc-input 同步数据到es的多任务配置
04-14
总结来说，"logstash-jdbc-input同步数据到es的多任务配置"涉及到Logstash的输入、过滤和输出插件的使用，尤其是`jdbc-input`插件与MySQL的交互，以及如何设置多任务以实现不同数据源的同步。这个过程通常用于实时...
winston-logstash-redis
07-06
Winston是JavaScript中的一个流行日志库，Logstash是数据收集、处理和转发的工具，而Redis则是一个高性能的内存数据结构存储系统，常用于缓存和消息队列。 首先，让我们深入了解Winston。Winston是Node.js的全面...
logstash-redis:使用Redis的Uber简单Logstash日志记录
05-07
logstash-redis 使用Redis列表作为输入的Uber简单Logstash日志记录。 节点版本：需要0.8.0 生成状态：安装npm install logstash-redis用法简单的方法： var logstashRedis = require ( 'logstash-redis' ) ;var ...
24优化logstash读取redis缓存日志配置.md
10-29
24优化logstash读取redis缓存日志配置.md
ELK之logstash收集日志写入redis及读取redis
weixin_30673715的博客
02-10 543
logstash->redis->logstash->elasticsearch 1.安装部署redis cd /usr/local/src wget http://download.redis.io/releases/redis-3.2.8.tar.gz tar xf redis-3.2.8.tar.gz cd redis-3.2.8/ make ln -s ...
logstash 读取 Redis 数据
我的地盘
10-11 6950
logstash 读取 Redis 数据
外卖项目day08---店铺营业状态设置/用到redis
2301_79693537的博客
07-23 223
【代码】外卖项目day08---店铺营业状态设置/用到redis。
Redisson中RQueue的使用场景附一个异步的例子
qq_40592590的博客
07-24 949
redis
Redis 7.x 系列【29】集群原理之自动故障转移
记录知识、锤炼自我
07-24 973
当 Redis 集群的某些节点出现故障时，可以自动进行故障转移，地将从节点提升为主节点，保证服务的连续性和数据的可用性。
分布式缓存与Redis
modelsetget的博客
07-24 627
为读者提供对分布式缓存和Redis的深入理解
redis的学习
weighless的博客
07-25 344
! 当连接上之后可以通过ping，redis会回复pong通过解压然后在cmd中输入> （可以使用tab补全文件名）就成功启动了设置密码---->找到配置文件中的 titi为密码 快速使用 s);
Spring Data Redis 报错 WRONGPASS invalid username-password pair问题解决
最新发布
BLF2
07-25 376
spring data redis版本：3.2.5redis server版本：社区版6.0.2。
logstash ruby redis 持久化代码的写法
09-23
在 Logstash 中使用 Ruby 代码访问 Redis 数据库并实现持久化功能，您可以这样写： ``` filter { ruby { code => " require 'redis' redis = Redis.new # 将数据存入 Redis event.set('my_field', 'my_value...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值