使用logstash同步数据到Elasticsearch时，未按照Tempalet的配置生成索引

最新推荐文章于 2022-06-27 00:21:13 发布
最新推荐文章于 2022-06-27 00:21:13 发布
阅读量982 收藏 5
点赞数
分类专栏： bug排查 文章标签： elasticsearch 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44683433/article/details/108754667
版权

项目场景：

使用logstash同步数据到Elasticsearch时，并未按照设置的模板去创建索引

问题描述：

今天在使用logstash同步mysql数据到ES中的时候，因为涉及到中文分词，所以创建了一个模板，将string_fields的分词器设置为ik_max_word，然后在output中使用模板输出，最后文档顺利生成，但是我发现生成的索引映射和我定义的模板不符，并没有将analyzer设置成ik_max_word

下面是我的模板和生成后的索引映射

template(截取了一部分，主要关注箭头所指部分)

logstash启动配置文件的output部分

最低0.47元/天 解锁文章
不二丶丶
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash采集规范与elasticsearch的template 、mapping 详细介绍
糯米鸡的博客
03-14 1万+
logstash 采集 kafka 写入es 流程规范请尊重知识产权，博客原文地址 http://blog.csdn.net/qq1032355091/article/details/79558649本文主要介绍es的template和mapping配置，通过logstash的采集流程规范，更加容易深入理解到底什么是template和mapping配置背景知识什么是mapping？mappi...
用于SqlServer 同步数据到ElasticSearch的logstash测试
05-14
标题 "用于SqlServer 同步数据到ElasticSearch的logstash测试" 描述了一种通过Logstash将SQL Server数据库中的数据实时或定期同步到ElasticSearch的解决方案。在.NET平台上，这种数据同步通常是为了实现大数据分析、...
记录windows系统下logstash读取日志文件不创建es索引，也不报错问题
weixin_43807568的博客
06-27 364
解决logstash不创建es索引问题
elasticsearch索引模板
lzy_zhi_yuan的博客
07-09 1226
什么是索引模板索引模板（indices-templates）的作用的告诉es在创建某些索引时如何配置索引的约束，包括的约束有：mappings,、settings、aliases。注意，...
提供写入的数据少于指定的数据_elastic 数据预处理、修复与增强写入的数据
weixin_39555179的博客
11-28 367
设想一下这么一个需求：后期需要对Tags做aggs统计，tags文本中，逗号分隔的文本应该是一个数组，而不是字符串在es中可以通过ingest node实现这个需求Ingest Node(预处理节点)是ES用于功能上命名的一种节点类型,可以通过在elasticsearch.xml进行如下配置来标识出集群中的某个节点是否是Ingest Node.在es 5.0引入的一种新的节点类型，默认配置下每个节...
ES初探
lijun0302的博客
11-24 199
Elasticsearch是什么？ Elasticsearch是一个基于文档的NoSQL数据库，是一个分布式、RESTful风格的搜索和数据分析引擎，同时也是Elastic Stack的核心，集中存储数据。Elasticsearch、Logstash、Kibana经常被用作日志分析系统，俗称ELK。 说白了，ES就是一个数据库，搜索效率很高(但是插入更新较慢)。速度快，还可以进行分词，非常适合做搜索，例如商城的商品搜索。为什么快，后面讲原理的时候会说，不单单是缓存的问题，原理非常精彩。而且它是nosql的，
问题解决30:搭建ELK环境的时候发现logstash怎么也输出不到ES No sincedb_path set, generating one based on the "path" sett
Leeue李月
10-30 5289
搭建ELK环境的时候发现logstash没有自动创建索引，并且数据没有传到es上 解决方案: 找到logstash安装目录下的 找到这个文件/usr/local/logstash-6.4.3/data/plugins/inputs/file下，你肯定看到这个文件夹是空的，其实有隐藏文件 .since 开头的文 ll -a查看 然后删除 file文件 再重新创建file文件夹再重新启动就可以看到控...
logstash-jdbc-input 同步数据到es的多任务配置
04-14
Logstash-jdbc-input插件是Logstash框架中的一个输入插件，主要用于从关系型数据库（如MySQL）中抽取数据并将其同步到Elasticsearch。在ELK（Elasticsearch、Logstash、Kibana）堆栈中，Logstash起到了数据处理和...
基于logstash实现日志文件同步elasticsearch
01-19
本文就logstash同步日志到ES做下详细解读。 1、目的： 将本地磁盘存储的日志文件同步（全量同步、实时增量同步）到ES中。 2、源文件： [root@5b9dbaaa148a test_log]# ll -rwxrwxrwx 1 root root 170 Jul 5 08:...
elasticsearch logstash同步数据 视频教程
最新发布
06-23
ELK elasticsearch logstash 同步数据 视频教程
logstash同步mysql到elasticsearch
02-17
在本场景中，我们将探讨如何使用 Logstash 同步 MySQL 数据库的数据到 Elasticsearch，这是一种常见的数据集成和实时分析解决方案。 首先，我们需要了解 Logstash 的工作原理。Logstash 由三个主要组件构成：输入...
logstash的output配置中指定elasticsearch的template
热门推荐
B.I.T
12-29 1万+
之前采用的是通过filebeat收集nginx的日志，直接到elasticsearch。filebeat带有nginx的module模块，通过这个nginx模块实现filebeat对nginx日志中字段的处理。最近由于一些实际的使用场景和需求，对nginx日志的手机和处理方式做了一下调整： filebeat收集nginx原始日志信息到kafka，然后logstash再从kafka读取日志，并进行
Logstash写入ElasticSearch的Mapping Template
qq_39261894的博客
08-23 951
我们使用ElasticSearch时一般需要自己创建ElasticSearch的索引的Mapping，当索引非常多的时候，可能需要配置一个索引模板Template来对类似的索引做统一配置，让索引模板Template中配置匹配索引的规则，来确定该Template会被应用到哪些索引上。 Template配置方式 当Logstash在整合ElasticSearch的时候，会有下面三种方式的Template配置： 1. 使用ElasticSearch默认自带的索引模板 ElasticSearch默认自带了一个名.
logstash在Elasticsearch中创建的默认索引模板问题
JineD的博客
09-08 2612
背景 在ELK架构中，使用logstash收集服务器中的日志并写入到Elasticsearch中，有时候需要对日志中的字段mapping进行特殊的设置，此时可以通过自定义模板template解决，但是因为logstash默认会向Elasticsearch提交一个名为logstash的模板，所以在定义logstash配置文件时有一些关键点需要注意。本文基于logstash-5.6.4和elastcisearch-5.6.4对需要注意的关键点进行列举。 logstash的默认模板 默认的logstash模
Beats：为 Beats =＞ Logstash =＞ Elasticsearch 架构创建 template 及 Dashboard
Elastic 中国社区官方博客
03-31 4478
前一段时间有一个开发者私信我说自己的 Beats 连接到 Logstash，然后连接到 Elasticsearch。等数据在 Elasticsearch 中收集完后，发现 Kibana 中的 Dashboard 不能被使用。数据类型不匹配。这个到底是什么原因呢？ Beats 为我们的数据导入带来了极大的方便。目前在 Elastic Stack 的架构中： 我们可以通过如下的三种路径吧数据导入到 Elasticsearch 中： Beats ==> Elasticsearch Beats
Logstash 创建 es 索引
qq_40794266的博客
01-08 7862
 官方介绍：Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足...
logstash日志分析的配置和使用
weixin_33840661的博客
02-01 642
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。 首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的...
logstash 同步数据elasticsearch
07-27
要将数据从Logstash同步到Elasticsearch，您可以使用Logstash的elasticsearch输出插件。以下是一些步骤来配置Logstash和Elasticsearch之间的数据同步： 1. 首先，确保您已经安装了Logstash和Elasticsearch，并且...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值