Logstash之MySQL做数据同步 报错记录

最新推荐文章于 2023-08-16 03:45:00 发布
最新推荐文章于 2023-08-16 03:45:00 发布
阅读量290 收藏
点赞数
分类专栏： 插件 组件 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42917455/article/details/113120181
版权
本文记录了在使用Logstash从MySQL进行数据同步时遇到的问题及解决办法。问题包括：1. Logstash插件在获取最后更新时间时已考虑了时区差异，无需手动调整；2. Logstash在ES 6.2.4版本上启动失败的bug及解决策略；3. Logstash 7.0及以上版本不再支持`type`字段。同时提供了Logstash和相关资源的下载链接。
摘要由CSDN通过智能技术生成

1.首先说明的是 ES采用UTC 时区，比北京时间早8小时，所以ES读取数据时让最后更新时间加8小时（后半句错误说法）

where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)

   我用的logstash-input-jdbc版本是4.3.9  ，ES采用UTC 时区，比北京时间早8小时，这点是没有问题的，但是在插件在取最后的时间已经默认加上8小时了，所以我们不需要加

  

最低0.47元/天 解锁文章
520_HL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
踩坑日记：Logstash同步数据库有type字段导致同步失败
qq_28834355的博客
09-27 1865
通常情况下，我们都会在Logstash为pipeline指定type，用来区分不同管道的同步处理。举个配置的例子： input { stdin { } jdbc { type => "petition" jdbc_driver_library => "/usr/share/logstash/ojdbc6.jar" jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" jdbc_conn
Elasticsearch和MySQL数据同步（logstash-input-jdbc）全量增量方式同步近千万数据
Lifelong learning
04-10 7132
同步方案： 同步读写：最为简单的方式在将数据写到mysql时，同时将数据写到ES，实现数据的双写。 异步双写(MQ方式)：MQ的性能基本比mysql高出一个数量级，所以性能可以得到显著的提高。 定时器程序：相关表中增加一个字段为timestamp的字段，任何crud操作都会导致该字段的时间发生变化，原来程序中的CURD操作不做任何变化；增加一个定时器程序，让该程序按一定的时间周期扫描指定的表，把该时间段内发生变化的数据提取出来；逐条写入到ES中。 binlog日志：读取mysql的binlog日志，获取指
我的日常一错----使用logstash将mysql数据库同步到es报错
TY02072403的博客
03-02 705
数据库同步es报错(ArgumentError) invalid byte sequence in US-ASCII 今天在做mysql同步到es的时候出现了一个戏剧性的错误，配置文件，mysql版本万无一失，可还是同步失败，报错信息如下： invalid byte sequence in US-ASCII (ArgumentError) 后面经过一番折腾，发现 ...
使用Logstash将数据从MySQL同步至Elasticsearch（有坑）
最新发布
秃了也弱了
08-16 583
logstash就是一个具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；在容器里面的/usr/share/logstash/路径下的隐藏文件.logstash_jdbc_last_run中记录了全量同步的UTC时间。这样就导致我们自己定义的映射无法使用，而有数据的是es自动生成的那个小写。logstash_jdbc_last_run默认是没有的，执行增量后创建。全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。数据库插入一条数据之后，会自动同步至es。
logstach启动成功，但是同步mysql数据出错
柳牧之的博客
12-26 1万+
小编遇到这个问题开始时候也是困惑了很两天，最后无意中想的可能是java驱动的问题。 错误原因：Unable to connect to database. Tried 1 times {:error_message=>“Java::JavaSql::SQLException: The server time zone value ‘脰脨鹿煤卤锚脳录脢卤录盲’ is unrecognized ...
windows 下 logstash分析日志文件到mysql
qq_39468649的博客
07-14 1047
windows 下 logstash分析日志文件到mysql
ElasticSearch+LogStash实现mysql的数据同步和分词全文检索
KGLegolas的博客
05-30 1359
建站过程中，为了方便笔记和文章内容的全文检索，考虑集成es，使用es的分词功能，实现站内的全文检索。 安装elasticsearch 官网下载es压缩包，解压之后配置config中的yml文件： cluster.name: legolas node.name: node-1 http.port: 9200 # transport.tcp.port: 9300 集群节点使用端口 network.ho...
mysql语法错误文件_使用logstash同步MySQL的数据时，在jdbc查询sql文件时报sql语法错误，sql文件是navicat生成的...
weixin_39525243的博客
02-02 347
使用logstash同步MySQL的数据时，在jdbc查询sql文件时报sql语法错误，并且错误总是near在第1行，sql文件的编码是utf8mb64 ,不知道是否是编码问题 logstash配置jdbc如下：jdbc {type => "jdbc"jdbc_connection_string => "jdbc:mysql://host:3306/v-monitor?use...
ELK使用Logstash同步mysql数据
Sail__的专栏
08-06 2044
上篇文章简单的把logstash跑起来，接受微服务中的tcp日志消息。 本篇主要用来同步mysql的实时数据。 首先修改logstash的配置文件logstash-7.3.0\config\logstash-sample.conf，复制出一份logstash-mysql.conf。修改内容如下： # Sample Logstash configuration for creating a ...
Logstash同步数据报错问题处理 blocked by: [FORBIDDEN/12/index read-only / allow delete (api) ]
巅峰键盘侠
12-07 889
1、问题描述 错误信息： 错误信息的内容如下： retrying failed action with response code: 403 ({"type"=>"cluster_block_exception","reason"=>"index [lili_material]blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"}) 出现这种错误，一般就是你的Elasticsearch磁盘空间不够了，...
Logstash日志数据写入异常排查问题总结
发现问题，面对问题，分析问题，解决问题，总结问题
07-13 2229
将多个服务的日志通过Filebeat写入到Logstash，其中Filebeat是以SideCar模式容器部署的，现在需要通过tag的方式将多个来源的数据写入到一个ES索引中。 我的操作步骤：【1】修改K8S上fileBeat对应的configMap配置【2】修改logstash配置，首先复制一个配置备份，然后添加额外的tag标签。logstash[]: java.util.concurrent.RejectedExecutionException: event executor terminated启..
mysql5.17安装,【已解决】MySQL 5.5.17 安装配置的时候出错:mysql-server-5.5-winx64:100 – Unable to configure service...
weixin_39643865的博客
03-17 384
【背景】win7,64位，下载了mysql 5.5.17安装包，安装的时候，最后一步，去配置成server，开始tcp/ip 3306端口，输入root的密码，然后确定，结果配置失败：mysql-server-5.5-winx64:6 – Looking for valid templatemysql-server-5.5-winx64:13 – Found valid template.mysq...
如何使用logstash更新已有的elasticsearch记录
点火三周的专栏
09-15 1万+
如何使用logstash更新已有的elasticsearch记录 常使用elasticsearch的童鞋，一定会遇到这种情况：我们需要修改已存储在ES中的数据，无论是数据内容或者是数据结构，来满足我们不断变化的需求。当我们需要修改数据的时，如果自己撸码一条一条的改动数据，不免有点低级，特别在大量的数据都需要修改的时候，这根本就是无法完成的任务。此时，势必要求助于工具。不知道Logstash是
Logstash将日志产生时间替换@timestamp
零度的博客专栏
07-02 1万+
一、跟着官网学习一下date插件      日期过滤器用于从字段中解析日期，然后使用该日期或时间戳作为事件的logstash时间戳。例如，syslog事件通常具有这样的时间戳：Bash"Apr 17 09:32:01"       你可以使用日期格式MMM dd HH：mm：ss来解析这个。日期过滤器对于排序事件和回填旧数据尤为重要。 如果您在活动中没有找到正确的日期，那么稍后搜索它们可能会排序错...
logstash mysql时间_Logstash jdbc 按时间增量更新的一些总结
weixin_39775428的博客
01-20 592
不同数据库的支持mysql数据类型显示样例是否支持timestampstatementtracking_columntracking_column_typeSQL示例date2020-10-20Nselect *, datediff(date, '1970-01-01') as days from tbl_time where datediff(date, '1970-01-01') > ...
Logstash(6.2.4)实现同步mysql数据到Elasticsearch
qqxhb 资源共享
06-15 1317
1. 简介 Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到Elasticsearch创建索引，当然也可以输出到其他库中。 本文介绍的是使用Logstash将MySQL中的数据采用到ES索引中。 2. 准备环境 2.1 安装JDk1.8 2.2 安装Elasticsearch 2.3 安装Logstash 1） 下载Logstash-6.2.4...
安装logstash7.3.2遇到的坑及解决方案
热门推荐
小蜜蜂1010的博客
10-02 2万+
一、安装logstash 1.1安装logstash7.3.2版本 国庆节的前几天下载了elasticsearch和kibana，当时elastic stack系列最新版本还是7.3.2，当时只下载了elasticsearch和kibana的最新版7.3.2练习，今天，项目中需要用到logstash收集数据信息，进入官网，发现就在今天10月2日，官网发布了新版本7.4版本，我们知道...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值