使用logstash这个插件的配置文件里,document_id的值里有大写导致值没变

最新推荐文章于 2023-12-25 19:09:35 发布

chenqiaozhi

最新推荐文章于 2023-12-25 19:09:35 发布

阅读量1.4k

点赞数

分类专栏：小bug积累

本文链接：https://blog.csdn.net/chenqiaozhi/article/details/106962365

版权

小bug积累专栏收录该内容

3 篇文章 0 订阅

订阅专栏

使用logstash同步mysql和elasticsearchs的时候，因为document_id => "%{sId}"，里的sId有大写，我改成小写，elasticsearch图形界面的_id就可以或得正常值了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chenqiaozhi

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ES用logstash导入数据库，用其他字段做_id主键

bobier_zhao的博客

11-12

2494

ES版本： 6.2.1 logstash版本 6.2.1 目的：一次偶然在把mysql数据同步到ES，同步时在不经意间在mysql修改了几数据信息，导致在同步的过程中，在ES中加入大量重复数据，但是因为主键是自动生成，所以存在主键不同，但是数据相同的数据，在项目展示测试中有很多相同数据。解决方法之一就是把sql主键也应用到ES，即使重复添加，也只是报错，而不是加入大量重复数据。方式：配置了sql.config，开启了模板： ------------------------------------

Logstash指定部分output的document_id

weixin_42119008的博客

09-11

4306

需求有两个Filebeat进行日志采集，通过同一个logstash输出至ElasticSearch，其中一个采集器a中需要指定一个字段key_id为document_id，以确保以此字段进行重复过滤，另一个采集器b使用默认生成的document_id。 logstash配置 input { beats { port => 5044 host => "0.0.0.0" ssl => false } } filter{

参与评论您还未登录，请先登录后发表或查看评论

ELK：Logstash 字段名称大小写切换

小白的专栏

09-30

2556

系统中需要按天和系统计算索引，但是日志中系统的名称大小写不一致，需求将大小写改为一致，记录下logstash字段如何进行大小写变换我们知道logstash提供了ruby的操作，Event API logstash event api 说明官网中的描述如下： Ruby Filter插件可以执行任何ruby代码并且处理事件数据 filter { ruby { code => 'event.set("lowercase_field", event.get("message").downca

Logstash file输入，无输出原因与解决办法

weixin_30698297的博客

12-18

917

1.现象很多同学在用logstash input 为file的时候，经常会出现如下问题：配置文件无误，logstash有时一直停留在等待输入的界面 2.解释 logstash作为日志分析的管道，在实际场景中，日志量往往很大，因此不可能每次都是完整扫描一遍日志文件，然后导入。通常采用的办法就是增量读取。也就是读取新增量 NOTE:图1中的配置文件，在第一次运行的时候，是会有结果的。...

数据从A集群，使用logstash迁移到B集群，如何保持_Id一致

Angus

12-25

472

有时候，我们在跨集群数据同步的时候，需要保持_id一致。这里直接给出一个配置文件。

logstash的配置文件

最新发布

02-23

logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件logstash的配置文件...

Logstash 的 Elasticsearch过滤器_Ruby_代码_相关文件_下载

07-12

这个过滤器可以设置索引名、类型以及文档 ID，还可以配置请求的其他参数，如时间戳字段、路由值等。使用 Elasticsearch 过滤器时，通常会涉及到以下配置选项： - `hosts`: 指定 Elasticsearch 服务器的地址。 - `...

logstash-output-jdbc插件

09-28

安装插件后，你需要在Logstash配置文件中添加`output`部分来使用`jdbc`插件。一个基本的配置示例可能如下所示： ```conf output { jdbc { jdbc_driver_library => "/path/to/jdbc/driver.jar" # 数据库驱动JAR...

logstash 动态模板没有生效

JustPlay1994的专栏

11-25

1732

如果用的7.x版本的，大概率是没有配置 document_type output { if [type]=="tb_tool"{ elasticsearch { # 如果不配置type，动态模板会创建失败 document_type => "_doc" hosts => ["10.0.14.40:31815"] # 索引名称 index => "tb_tool"

Elasticsearch-logstash同步mysql数据字母大小写问题

心丨悦的专栏

04-11

2510

logstash同步mysql数据的时候，sql里面含有的大写字母，到了ES的时候就会变成小写，这是因为在jdbc.conf里面没有添加lowercase_column_names => false"这个属性，就导致es里面看到的字段名称全是小写。最后总结：es是支持大写字段名称的，如果想要保留原有的大写字母，需要在同步配置中加上 lowercase_column_names ...

logstash-output-logio

05-14

logio输出插件参见

logstash配置文件

qq_38999509的博客

05-11

488

input { stdin { } jdbc { # mysql jdbc connection string to our backup databse jdbc_connection_string => "jdbc:mysql://**" # the user we wish to excute our statement as ...

logstash同步父子文档

weixin_34110749的博客

05-08

560

父子文档，可以理解为关系型数据库中的一对多的关系。使用logstash同步MySQL数据，有时候需要同步父子文档。使用ES父子文档功能需要满足两个条件指定一个type是另一个type的父在存储子文档的时候，通过parent参数指定父文档的Id 第一步：定义父子关系 curl -XPUT "http://localhost:9200/product?pretty" -d ' { "ma...

第二章 logstash - 输出插件之redis与es

weixin_33805743的博客

09-19

328

最常用的两个输出插件： redis es 一、redis 1、用法 1 output { 2 redis{ 3 batch => false 4 batch_events => 50 5 batch_timeout => 5 6 codec => plain ...

Elasticsearch入门笔记（Logstash数据同步）

KeePCoding

04-27

855

Elasticsearch 整合 SrpingBoot 引入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> <version>2.2.2.RELEASE</version> </dependency> 设置

Logstash配置详解

热门推荐

u012017645的专栏

10-17

2万+

Logstash配置详解

logstash的elasticsearch output plugin：不同action的区别（index/create/update）

点火三周的专栏

09-25

4142

文章目录elasticsearch plugin的actioncreateindexupdatedoc_as_upsertupsert异常总结 elasticsearch plugin的action logstash提供了多达40多种的output plugin用于将处理后的数据输出到下游系统。其中最为常见的输出端自然是elasticsearch plugin。而elasticsearch plu...

Logstash数据处理服务的输出插件Output配置参数详解

江晓龙的博客

07-13

2553

output配置字段是将收集的日志数据存输出到生存储中，一般都是elasticsearch集群。常用字段配置：ES集群每个节点的地址信息。：指定存储到ES的哪个索引库。将从file日志文件中收集来的数据存储到ES索引库中。当logstash收集到新的日志内容后会存储到ES索引库中。在kibana上关联es集群中的日志索引库，展示日志数据可视化。1）点击Stack Management—>索引模式—>创建索引模式2）输入关联es的索引名称，日志索引库每天都会生成新的，因此要采用通配符形式。3）增加一个时间戳

logstash使用总结

csdncjh的博客

06-11

4203

如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。

logstash同步时document_id重复

06-03

当使用 Logstash 同步数据到 Elasticsearch 时，如果使用了相同的 `document_id`，则会出现重复的文档。为避免这种情况，可以在 Logstash 配置文件中使用 `document_id` 选项来指定唯一的文档 ID。例如： ``` output { elasticsearch { hosts => ["localhost:9200"] index => "my_index" document_id => "%{id}" } } ``` 在上面的配置中，我们使用了 `document_id` 选项，并指定了 `%{id}`，这将使用 Logstash 事件中的 `id` 字段作为文档 ID。确保 `id` 字段是唯一的，这样就可以避免文档 ID 重复的问题。