Flink
文章平均质量分 50
环境搭建,学习记录
clz1314521
这个作者很懒,什么都没留下…
展开
-
Flink的几种监控方案以及对比
目录1,利用 API 获取监控数据2,reporter 去上报监控数据,比如 JMXReporter、PrometheusReporter、PrometheusPushGatewayReporter、InfluxDBReporter、StatsDReporter 等1,利用 API 获取监控数据利用 Flink UI 提供的接口去定时获取到监控数据,相关 Rest API 可以查看官网链接:rest-api-integration2,reporter 去上报监控数据,比如 JMXR.原创 2021-08-17 11:35:30 · 1255 阅读 · 0 评论 -
Flink集群部署模式对比
1. Session模式该模式下,作业共享集群资源,作业通过Http协议进行提交。在Flink 1.10版本中提供了3种会话模式:Yarn会话模式、K8s会话模式、Standalone。Standalone模式比较特别,Flink安装在物理机上,不能像在资源集群上一样,可以随时启动一个新集群,所有的作业共享Standalone集群,本质上就是一种Session模式,所以不支持Per-Job模式。在Session模式下,Yarn作业提交使用yarn-session.sh脚本,K8s作业提交使用ku原创 2021-08-11 10:12:55 · 1213 阅读 · 0 评论 -
DataStream的各类算子的介绍
读完Flink原理、实战与性能优化 这本书后,对各类算子的联合使用还不是很清楚。看到这篇文章写得比较清晰于是转载出来。一、Map:对数据进行逐个遍历,常用作对数据集内数据的清洗和转换input.print(); SingleOutputStreamOperator<Tuple2<String, Integer>> map = input.map(new MapFunction<String, Tuple2<String, Integer>>() ..转载 2021-07-08 10:17:35 · 566 阅读 · 0 评论 -
Flink数据源DataSource读取的几种方式
case class SensorReading( id: String, timestamp: Long, temperature: Double )object SourceTest { def main(args: Array[String]): Unit = { // 创建执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) // 1..原创 2021-04-18 16:41:21 · 655 阅读 · 0 评论 -
windows上flink环境搭建
windows搭建比较简单可以参考下面两篇文章。注意版本,我本机用的版本的是flink-1.9.3,有bat可以直接启动https://my.oschina.net/wangzonghui/blog/3158877https://www.aboutyun.com/thread-29293-1-1.html原创 2021-04-18 16:39:35 · 275 阅读 · 0 评论 -
.[No space left on device]问题解决
.[No space left on device]问题解决原创 2010-05-31 19:09:00 · 9580 阅读 · 1 评论