elasticsearch 增量同步 mysql_Elasticsearch mysql 增量同步 三表联合 脚本

在上一篇中简略的说了一下es同步数据脚本的大致情况，但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表，两张实体表，一张关联表。大致实现如下：

bin目录建立一个statefile.json文件：

{

"type" : "jdbc",

"statefile" : "statefile.json",

"jdbc": {

"url" : "jdbc:mysql://",

"user" : "",

"password" : "",

"type" : "actor",

"index": "test",

"schedule" : "0 * * * * ?",

"metrics" : {

"lastexecutionstart" : "0",

"lastexecutionend" : "0",

"counter" : "1"

},

"sql" : [

{

"statement" : "select a.actor_id as _id ,a.*,GROUP_CONCAT(b.tag_name ) as tag_name from ( ( gd_actor_info as a left join gd_actor_tag as ab on a.actor_id = ab.actor_id ) left join gd_tag_actor as b on ab.tag_id = b.tag_id) where a.update_time >? or ab.update_time > ? group by a.actor_id ",

"parameter" : [ "$metrics.lastexecutionstart" ,"$metrics.lastexecutionstart" ]

}

]

}

}

主要是lastexecutionstart设置为0，为了让第一次执行能进行一次全量备份。

其实sh脚本信息也就都在上面了，再写一个就好了

Elasticsearch mysql 增量同步

主要用到了一个JDBC importer for Elasticsearch的库. 想要增量同步,有一些先决条件.首先数据库中要维护一个update_time的时间戳,这个字段表示了该记录的最后更新时 ...

Clickhouse单机部署以及从mysql增量同步数据

背景: 随着数据量的上升,OLAP一直是被讨论的话题,虽然druid,kylin能够解决OLAP问题,但是druid,kylin也是需要和hadoop全家桶一起用的,异常的笨重,再说我也搞不定,那只能 ...

shell脚本修复MySQL主从同步

发布:thebaby   来源:net     [大 中 小] 分享一例shell脚本,用于修改mysql的主从同步问题,有需要的朋友参考下吧. 一个可以修改mysql主从同步的shell脚本. 例子 ...

使用canal增量同步mysql数据库信息到ElasticSearch

本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch.(注意:是增量!!!) 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系 ...

监控mysql主从同步状态脚本

监控mysql主从同步状态脚本 示例一: cat check_mysql_health #!/bin/sh slave_is=($(mysql -S /tmp/mysql3307.sock -uroo ...

MySQL数据实时增量同步到Kafka - Flume

转载自:https://www.cnblogs.com/yucy/p/7845105.html MySQL数据实时增量同步到Kafka - Flume   写在前面的话 需求,将MySQL里的数据实时 ...

nagios系列(七)nagios通过自定义脚本的方式监控mysql主从同步

nagios监控mysql主从同步 起因:nagios可能监控到mysql服务的运行情况,但确不能监控mysql的主从复制是否正常:有时候,同步已经停止,但管理人员却不知道. 登陆mysql从服务器, ...

orcale增量全量实时同步mysql可支持多库使用Kettle实现数据实时增量同步

1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间,可以通过它对数据在时间维度上进行排序.通过中间表记录每次更新的时间戳,在下一个同步周期时,通过这个时间戳同步该时间戳以后 ...

随机推荐

soap request by afnetworking2.X/3.X

for 2.X 参考 http://jiapumin.iteye.com/blog/2109378 AFHTTPRequestOperationManager *manager = [AFHTTPRe ...

SelectedValue 失效

/// /// 绑定代表下拉选项 /// public void BindOwnerDataII(string unitId, str ...

Solr6.6 创建core

原文:https://github.com/x113773/testall/issues/7 1. 首先在solr-6.6.0目录运行命令,启动solr:`Linux: $ bin/solr star ...

try_files

try_files $uri $uri/ /index.php$is_args$args 假设你防问 https://demo.com/demo 1.$uri:查找/demo文件 2.$ui/:查找/ ...

spring BeanWrapperImpl方便的嵌套属性(list)操作

beans 包主要提供了接口和类用于处理java beans.     其中最主要的接口是BeanWrapper:     Spring 的中心接口,用于访问javabeans 的低层操作.默认实现为 ...

mysql8.0发布新特性

2018年4月21日 14:36:42 https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-11.html#mysqld-8-0-11-b ...

容器101：Docker基础

Docker如此受欢迎的一个原因是它提供了“一次开发,随处运行”的承诺.Docker提供了一种将应用程序及其运行时依赖性打包到单个容器中的简单方法.它还提供了一个运行时抽象,使容器能够跨不同版本的Li ...

纯净版xp系统在局域网共享需要密码如何解决

纯净版xp系统在局域网共享需要密码怎么办?这是近来不少朋友都向小编反馈的问题.他们表示每次共享者更改密码后其他人都需要再重新输入密码,感觉十分的麻烦.下面是系统城小编给大家整理的一些有关XP系统局域网 ...

Eventually Consistent(最终一致性)(转)

应该说搞分布式系统必读的文章了,转过来,这是2008年12月Werner revise过的版本,先贴上内容简介:分布式系统的CAP理论 CAP理论(data consistency, system a ...

jquery easy ui 简单字段选择搜索实现

code