![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
迷你以为
热爱开源、乐于分享、喜欢钻研,专注flink开发实战,分享flink实战经验
展开
-
Flink sql cdc执行过程
最近使用flink sql cdc实现实时报表,cdc是基于debezium实现的全量和增量数据读取。根据flink sql cdc源码和日志输出可以看到其执行过程,过程包括以下16个步骤:禁止mysql自动提交、开启可重复读事务、并且设置锁和锁的超时时间; 刷新并获得全局读锁,以防止写入数据库,如果无法刷新并获取全局读取锁,读取表名后将使用表读取锁; 使用一致的快照启动事务; 读取可用数据库读列表; 读取每一个数据库下可用的table; 刷新并获得1个表的读锁; 从mysql master原创 2020-09-02 09:33:57 · 1275 阅读 · 0 评论 -
在linux搭建分布式ElasticSearch数据库
一、首先下载elasticsearch-2.4.4.tar.gz(这里下载的版本比较低,因为我的服务器比较low),放在linux的文件夹elasticsearch中,使用tar –zxvf elasticsearch-2.4.4.tar.gz解压,然后再使用cp命令把解压文件copy一份(一个作为master,一个作为slave),如下图所示:二、进入elasticsearch2.4,直原创 2018-01-24 11:28:52 · 432 阅读 · 0 评论 -
全文搜索ElasticSearch笔记(1)-简单的增删改查
在之前的文章,我搭建了一个分布式的ElasticSearch环境,版本是2.2.4的。最近开始学习了ES,因为选择的版本有点低,以下的所有笔记都是基于ES2.2.4撰写。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。简单的认识之后,直接进入主题。一、创建索引1、创建索引可以在head插件中新建索引,也可以通...原创 2018-02-15 01:39:19 · 275 阅读 · 0 评论 -
JAVA消息中间件-ActiveMQ队列模式简单实例(笔记1)
最近在window和linux分别都搭建了ActiveMQ,搭建的过程很简单,直接解压启动即可,过程略。消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。接下来通过java代码连上MQ并且创建生产者和消费者,因为我是在maven项目中写的代码,所以,需要在pom.xml中引入act...原创 2018-03-20 00:37:49 · 259 阅读 · 0 评论