![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 88
程序员路同学
九八年程序员一枚,喜欢钻研技术,从事后端开发,正努力向全栈发展,如果你有更好的技术分享,欢迎私信留言
展开
-
Flink checkPoint和SavePoint
savepoint和checkpoint都是flink为容错提供的强大功能特性,能够自动或手动保存job的运行状态checkpoint:应用定时触发,用户保存状态,会过期,内部应用失败重启的时候启用,但是手动cancel时,会删除之前的checkpointsavepoint:用户手动置顶,相当于状态的备份,可以在bin/flink cancel xx的时候调用,一般用于修改并行度,程序升级等等。如果想要在程序停掉后重启,数据一致的情况下,强烈推荐使用cancel时做savepoint,当然如果程序中没有涉及原创 2022-06-19 13:38:53 · 1359 阅读 · 0 评论 -
FastDfs分布式文件服务器 与HDFS分布式文件服务器
安装FastDfsgithub下载FastDfs相关的文件https://github.com/happyfish100/fastdfs 下载fastdfs文件 我这里下载的是5.11版本下载libfastcommon 依赖https://github.com/happyfish100/libfastcommon/tree/V1.0.36解压fastdfs-5.11.tar.gz 和libfastcommon-1.0.36.zip检查Linux上是否安装了 gcc、libeven..原创 2022-05-28 16:16:49 · 1478 阅读 · 0 评论 -
Flink集群搭建以及企业级yarn集群搭建
Flink下载:Apache Flink: 下载根据自己想要下载的版本,下载指定版本我下载的是7.2hadoop版本单机集群启动:页面查看启动集群 提交任务到flink 单节点集群 前端查看上传的任务执行计划:输出文件展示停止集群:[root@node01 flinkhadoop1.7.2]# vim conf/masters 192.168.36.138:8081hadoop下载 https://archive.apache.org/dist/hadoop/core/hadoop-2.原创 2022-06-18 11:05:00 · 769 阅读 · 0 评论 -
Flink主要组件以及工作流程
Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流(批处理和流处理)进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务:根据官网的介绍,Flink 的特性包含:flink处理时间优势劣势 为了支持分布式运行,Flink跟其他大数据引擎一样,采用了主从(Master-Worker)架构。 1:事件时间2:摄入时间3: 处理时间......原创 2022-06-17 23:08:33 · 2599 阅读 · 0 评论