[Logstash] 如何找到并清空logstash-input-file插件的文件监控记录(sincedb)？

最新推荐文章于 2022-07-05 23:01:58 发布
最新推荐文章于 2022-07-05 23:01:58 发布
阅读量6.9k 收藏 3
点赞数 2
分类专栏： Elastic Stack 文章标签： Logstash logstash-input-file
版权声明：本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/winx_coder/article/details/53419818
版权
本文介绍了如何在Logstash 2.4.1中找到并清除logstash-input-file插件的文件监控记录，即sincedb文件。由于sincedb是隐藏文件，需通过显示所有文件命令找到，然后在停止Logstash服务后使用rm命令删除。删除sincedb前务必停止Logstash，并确保已从Elasticsearch中移除相关文档，以防止导入重复数据。
摘要由CSDN通过智能技术生成

Logstash版本

2.4.1

问题

在Logstash中，已经通过logstash-input-file插件导入了一些本地日志文件。现在需要重新导入这些日志文件，但是logstash-input-file插件会自动忽略之前已经读取的文件。要想重新导入之前的文件，只能清空文件监控记录。

 

那么，文件监控记录到底在哪里？

 

在官方插件说明文档中，关于文件监控记录(sincedb)的说明：

 The plugin keeps track of the current position in each file byrecording it in a separate file named sincedb. Thismakes it possible to stop and restart Logstash and have it pick up where itleft off without missing the lines that were added to the file while Logstashwas stopped

......

By default, the sincedb file is placed in the home directory of the user running Logstash

最低0.47元/天 解锁文章
winx_coder
关注
专栏目录
ES数据同步：定时重启Logstash，并清除相关数据。
iOS逆向与安全
03-22 491
crontab 文件是一个用于定时执行任务的文件，其中包含了一系列的命令和任务，系统会按照预定的时间间隔来执行这些任务。-x [num]：设置 crontab 文件的加密级别，默认为 0，不加密。crontab 文件中的命令会在后台执行，不会在终端中显示输出结果，如果需要查看输出结果可以使用日志文件记录。使用 crontab -e 可以编辑当前用户的 crontab 文件，可以添加、删除和修改定时任务。-u user：指定要编辑的用户的 crontab 文件，默认为当前用户。
Flink大数据实时计算系列-案例初体验：HotPages
段智华的博客
03-09 332
Flink大数据实时计算系列-案例初体验：HotPages 目录 HotPages代码输入日志运行结果 HotPages代码 /** * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved * <p> * Project: UserBehaviorAnalysis * Package: com.atguigu.networkflow_analysis * Version: 1.0 * <p> * Created by wush
2021-11-01Logstash关于日志清洗记录学习及应用
weixin_52116589的博客
11-01 1091
logstash日志清洗： 公司目前给我日志清洗任务，给了我乱七八糟资料之后看的一脸懵，最后决定自己动手整理整理这样有头绪点，记录一下自己学习过程。其中涉及到一些ip内容的我都改为ip，其他保持一致，欢迎大家一起讨论，我也是刚开始学习这个，如有写的不对请多指教。 一、学习阶段 1、首先理解logstash中各个语法： 事件：Logstash 每读取一次数据的行为叫做事件。 1）**Input：**输入插件，允许一个特定的事件源可以读取到 Logstash 管道中。 支持多种数据源：stdin，file，tc
logstash file input sincedb path on osx
weixin_33807284的博客
01-06 101
$LOGSTASH_HOME/data/plugins/inputs/file 转载于:https://www.cnblogs.com/tianzk/p/6255267.html
logstash清除sincedb_path上传记录，重传日志数据
Zhang Phil
07-05 1264
logstash清除sincedb_path上传记录，重传日志数据logstash通过一个名为 sincedb_path 下的记录文件记录当前logstash已经上传的日志文件的位置，如果指定为 null，则使用home默认的。清除这个sincedb_path 下的文件，将导致logstash丢失所有上传记录，那么logstash将重新上传所有监控文件（意味着如果原有数据已上传一部分，那么还会出现重复的日志文件）。不过有时候可以利用 sincedb_path 这一特性，指定sincedb_path 存储的文
logstash常见数据清洗配置
舒克的博客
06-29 2117
ogstash通过插件的形式来配置input，filter，output，在消费数据后，如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时，了解了一些logstash处理数据的方式，以下logstash的config做个简单分享: input { kafka { bootstrap_servers => "xxx.xxx.xxx.xx:9092,yyy.yyy.yyy.yy:9092," ##kafka地址，可以是集群 ...
logstash处理文件进度记录机制
seaboat——a free boat on the sea.（公众号：远洋号）
11-24 9052
假如使用如下配置处理日志input { file { path => "/home/vagrant/logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-*.log" start_position => "beginning" type => "sql" codec => jso
vue用户行为收集_GitHub - adminV/Vue-dataAc: Vue 前端数据采集插件，前端异常数据采集插件，用户行为监控采集插件，用户前端异常监控插件，图形化分析插件（附demo）如有...
weixin_39538687的博客
12-20 616
Vue-dataAc - Vue 数据采集上报插件(求小星星，求star)写在前面此插件基于 dataAcquisition 进行重构基于Vue进行插件开发，新增了很多配置，也对整体的采集监控做了优化，让这一切更优雅更灵活更简单。项目初期，难免有一些不同场景下的问题，大家在使用过程中遇到任何问题，或者有不满意的点都可以提交issue上来。另外： http://data.isjs.cn/logSta...
logstash无法读取redis数据
sdlyjzh的专栏
11-27 6051
今天搭建logsatsh+redis+elasticsearch时出现了问题，经过近一小时排查，终于解决。记录一下。 环境是这样，一台客户端发送数据到位于服务器的redis，服务器端的logstash读redis的数据，存储到elasticsearch中。 初步问题是这样的：在服务器端，没有收到客户端发送过来的日志。 这样就可能有两种问题：一是客户端的logstash没有成功发送数据到red
Logstash之sincedb问题记录
davinciyxw的专栏
10-17 4044
作为ELK中重要的一个组成部分，logstash既可以作为indexer解析日志，又可以作为shipper采集日志。但是由于logstash是java应用，占用资源较大，启动慢，所以有了filebeat来代替logstash作为日志采集代理。但是filebeat使用golang编写，跨平台支持还不够，比如在AIX环境下不能允许。因此研究了logstash在AIX上的运行，使用jdk1.7的情况下，
logstash-5.6.3 sincedb 位置
feibabm的博客
10-24 949
按照官网上的说明： https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html#_description_8 y default, the sincedb file is placed in the home directory of the user running Logstash with a f
logstash配置sincedb目录位置
Brave_heart4pzj的博客
02-12 615
https://blog.csdn.net/qq_39669058/article/details/86480578 删除就能重新读取日志文件了，也可以指定指定sincedb文件的目录使用，重要该路径必须指定到文件不能指定到文件的目录 sincedb_path => “/home/logs/index.txt” ...
Logstash日志同步工具
weixin_44848382的博客
12-06 1181
Logstash日志同步工具安装logstash配置logstash配置文件介绍sincedb数据库文件功能介绍漏掉的日志文件如何读取logstash从头读取某个日志文件的方法sincedb参数说明： 安装logstash 如果有yum源可以直接安装 yum install logstash -y 如果没有yum源，可以官方下载相关软件包https://www.elastic.co/cn/downloads/logstash 配置logstash 配置文件介绍 配置文件：/etc/logstash/co
Logstash6.5.4的sincedb文件存放路径
Coding Farmer的博客
01-14 4356
由于测试玩耍，读取日志文件之后就不重新读取，需要每次把sincedb文件删除了，才会重新读取日志文件 低版本的Logstash2.4.0默认的sincedb文件目录在home目录下，通过ll -a就可以查看到 但是：Logstash6.5.4在home目录下没有找到 使用：find / -name .sincedb_* 查看到sincedb文件在 /usr/local/logstash-...
Linux企业运维——ELK日志分析平台（中）ES节点优化、logstash数据采集、过滤插件
weixin_44310047的博客
03-08 2021
Linux企业运维——ELK日志分析平台（中） 文章目录Linux企业运维——ELK日志分析平台（中）1、ES节点优化1.1、ES节点角色1.2、节点角色属性1.3、属性组合方式1.4、节点职责划分2、logstash数据采集2.1、logstash简介2.2、logstash安装与配置2.3、logstash采集系统日志2.4、logstash伪装成日志服务器，直接接收远程日志3、过滤插件3.1、多行过滤插件3.2、grok过滤插件 1、ES节点优化 1.1、ES节点角色 Master： 主要负责集群中
Logstash配置详解（不断更新）
热门推荐
hushukang的博客
11-27 1万+
1. Input Plugin 1.1 从文件输入 从文件读取数据，如常见的日志文件。文件读取通常要解决几个问题： No. 问题 解决办法 1 文件内容如何只被读取一次？即重启Logstash时，从上次读取的位置继续 sincedb 2 如何即时读取到文件的新内容 定时检查文件是否有更新 3 如何发现新文件并进行读取 定时检查是否有新文件生成 4 如何文件发生了归档（r...
logstash 报错运行实例有缓存处理
Iloveskr
04-26 1596
Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the “path.data” setting. 原因：之前运行的instance有缓冲，保存在path.data里面有.lock文件，删除掉，重启logstash 就可以。 解决
ELK入门——解决：删除索引，重运行logstach后messages数据量变少
Netceor的博客
01-22 1257
logstash在第一次导入数据时将自动创建一个文件监控记录（sincedb），则logstach会认为该文件已经读取过，即使删除索引，也不会重头读取。导致重新运行logstash会发现记录量非常少，有两种解决办法 一、禁止sincedb 在配置文件中加入代码行sincedb_path => "/dev/null"，即 input { file { path => "/var/log/messages" type => "systemlog" start
logstash 没有logstash-input-kubernetes插件
最新发布
05-09
这种情况可能是因为你没有安装logstash-input-kubernetes插件。你可以通过以下步骤来安装该插件： 1. 在Logstash的安装目录下运行bin/logstash-plugin install logstash-input-kubernetes命令进行安装。 2. 确保你的Logstash版本与logstash-input-kubernetes插件的版本兼容。你可以在插件的官方文档中查看版本兼容性信息。 3. 确保你的Kubernetes集群已经正确配置，并且你拥有足够的权限来访问Kubernetes API。你可以在插件的官方文档中查看如何配置Kubernetes集群和访问权限的信息。 如果你已经按照以上步骤安装并配置了logstash-input-kubernetes插件，但仍然无法使用该插件，可以参考插件的官方文档或者在相关社区中寻求帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值