![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 94
Xiaohuansong
这个作者很懒,什么都没留下…
展开
-
Flink Native Kubernetes (二)基于阿里云OSS的checkpoint和savepoint测试
目录准备开始制作镜像编写测试应用发布应用测试checkpoint测试Savepoint 准备 前提已经有一定flink基础 上一篇文章 环境搭建Demo运行 已经完成基础的Demo试跑 接下来测试 精确一次 语义 source 为kafka sink 为print 主要测试算子状态和checkpoint、savepoint的情况 开始 阅读官网,可以知道很多Connector支持 精确一次 语义 而且checkpoint和savepoint对于异常重试和重新发布对于数据不丢不重是很关键的基础配置 结合上st原创 2021-02-24 16:08:52 · 1368 阅读 · 0 评论 -
Flink Native Kubernetes (一)
abc原创 2021-02-22 11:16:01 · 513 阅读 · 0 评论 -
mysql数据实时缓存ES实战
前言 目前各个公司都在使用基于myql为关系型数据存储,ES提供快速检索排序的数据查询流程。 所以,在使用ES查询时,实时同步Mysql数据就成为了这一套检索流程的重中之重。 设计思路 使用mysqlbingLog解析工具,模拟slave做到binlog无丢失,实时获取数据变动 使用消息中间件kafka,rabbitmq等作为数据传输,暂存工具 使用流式数据处理工具,strom,spa...原创 2020-01-17 11:54:45 · 759 阅读 · 0 评论 -
win10安装hadoop2.7
首先下载hadoop.tar.gz官网地址http://hadoop.apache.org/releases.html我是用的是hadoop-2.7.6.tar.gz继续下载hadooponwindows-master.zip可以自行百度,或私信我需要安装java jdk配置JAVA_HOME 自行查找资源准备就绪 开始搭建配置HADOOP_HOME与JAVA_HOME同样配置方式将 hadoop...原创 2018-06-28 14:45:58 · 2433 阅读 · 0 评论 -
mysql+maxwell+SparkStreaming 分析数据流水
maxwell可以模拟mysqlslave获取binlog,对binlog进行解析,变成json格式 {"database":"taskcenter","table":"lts_admin_job_tracker_monitor_data","type":"insert","ts":1535090880,"xid":1555704593,"原创 2018-08-24 14:54:38 · 566 阅读 · 0 评论