- 博客(4)
- 收藏
- 关注
RSS订阅原创 java Logstash 如何保证数据不丢失
用过ruby 版本 的logstash 大家都知道，在input 数据消费进来之后，output数据要是失败了，就会扔掉，这个对数据要求较高的应用中是很难接受的。举一个列，input kafka，output elasticsearch，在消费kafka数据到内存队列，在output到elasticsearche的时候，elasticsearch不可用，elasticsearc客户端会重试几次...
2018-09-13 16:41:43
4689
1
原创 为什么要用java重写logstash
为什么要用java重写logstash写之前这里先打个广告，java 版本的logstash已经开源，git地址 https://github.com/dtstack ；再放个招聘信息 https://m.zhipin.com/weijd/v2/job/de2292afc38d32fe1XV73t25EFU~?date8=20180609&sid=self_jd&from=si...
2018-09-13 16:33:53
1625
1
原创 基于flink的分布式同步工具
1. FlinkX概览一.FlinkX是一个基于Flink的异构数据源离线同步工具，用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Elasticsearch等）之间进行高效稳定的数据同步。 二.FlinkX简化了数据同步任务的开发过程，用户只需提供一份数据同步任务的配置，FlinkX会将...
2018-09-13 16:32:19
790
原创 扩展FlinkSQL实现流与维表的join
现在最新版本的flink1.6版本现在还不支持直接用SQL来实现流与维表的join。这里打个广告我们团队已经实现了这个功能并且开源 https://github.com/DTStack/flinkStreamSQL这里先解释下什么是维表；维表是动态表，表里所存储的数据有可能不变，也有可能定时更新，但是更新频率不是很频繁。在业务开发中一般的维表数据存储在关系型数据库如mysql，oracle等，...
2018-09-13 16:28:31
8098
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人