- 博客(16)
- 收藏
- 关注
RSS订阅原创 StreamPark的云原生flink任务failed over问题分析
在这里相关的镜像仓的设定应该提前设定好，并且需要注意的，该任务镜像包含了用户自定义的UDF可能存在一定的隐私性，最好能够提供一个私有的镜像仓（如自建harbor）。 【镜像创建】成功后，如果容器进行了重启，只会导致新启动的SP容器中工作空间目录、podTemplate文件缺失，如果使用podtemplate，则会因文件确认导致后续的【任务执行】失败。在这里，依赖jar包应该为。 【任务创建】成功后，相关依赖JAR包将会被下载到本地的工作空间，如果容器重启后，已经下载完成的jar包将会消失。
2023-12-25 19:26:35
284
原创 StreamPark获取Flink中信息的两种方式源码解读
经过对SP的源码解读，发现SP对Flink的Metric等信息的监控分为两种实现方式，在K8S模式下获取的方式和其他方式有所区别，且K8S模式下为scala代码实现，其他模式为java代码实现，不过最终都是从Flink Web UI中获取数据。
2023-12-25 19:14:34
229
原创 savepoint存储与恢复流程
除了检查点（checkpoint）外，Flink 还提供了另一个非常独特的镜像保存功能——保存点（Savepoint）。 从名称就可以看出，这也是一个存盘的备份，它的原理和算法与检查点完全相同，只是多了一些额外的元数据。事实上，保存点就是通过检查点的机制来创建流式作业状态的一致性镜像（consistent image）的。 保存点中的状态快照，是以算子 ID 和状态名称组织起来的，相当于一个键值对。从保存点启动应用程序时，Flink 会将保存点的状态数据重新分配给相应的算子任务。
2023-12-25 19:08:33
304
原创 # Flink适配（S3）实现保存点上传
Amazon Simple Storage Service (Amazon S3) 提供用于多种场景的云对象存储。S3 可与 Flink 一起使用以读取、写入数据，并可与 流的 State backends 相结合使用。 Flink 提供两种文件系统插件用来与 S3 交互： 和 ，Flink官方建议的存储使用进行实现，但是当认证方式为STS方式时，只能用插件进行实现 可参考Flink官方文档：https://nightlies.apache.org/flink/flink-docs-relea
2023-12-25 18:59:41
1349
1
原创 使用DataStream API方式开发Flink程序
我们需要添加的依赖最重要的就是 Flink 的相关组件，包括 flink-java、flink-streaming-java，以及 flink-clients（客户端，也可以省略）。
2023-12-25 18:42:14
94
原创 用户Flink任务监控功能-设计
用户隔离: Prometheus与ECharts的组合使得用户隔离更加容易。可以实施自定义逻辑，确保每个用户只能访问和查询与他们自己相关的数据。这可以更好地满足多租户环境中的需求，确保用户只能看到自己的数据。自定义视图: 使用ECharts，可以轻松自定义图表的外观和交互。这意味着可以根据用户需求创建特定的监控仪表板和可视化效果，而无需受限于Grafana的默认视图。这种灵活性使能够更好地满足不同用户的需求。
2023-12-25 18:30:28
191
原创 翼flink任务流程
如下，将对翼flink-StreamPark的代码进行介绍。需要注意的是，我们需要在相应用户的目录下提供一个kubeconfig文件，如下图所示，通过该文件，StreamPark才能顺利地调用K8S客户端提交任务，该config的内容为与K8S的ApiServer进行连接时需要使用的信息。 之后，StreamPark端将会把查询到的日志保存在其工作目录下，并以该任务的job_id作为标识进行保存，保存至fl一般地，将会把用户日志保存在安装目录下的temp目录中，提供持久化存储，供后续使用。
2023-12-25 17:27:17
94
原创 FLINK 与翼flink-StreamPark实例
FLINK 与翼flink-StreamPark实例介绍 Flink是一个大数据流处理引擎，可以为不同行业提供实时大数据处理解决方案。随着Flink的快速发展和改进，世界各地的许多公司现在都能看到它的存在。目前，北美、欧洲和金砖国家都是全球Flink应用的热门地区。当然，Flink在中国的知名度特别高，部分原因是一些互联网大厂的贡献和引领效应，也符合中国的反应与场景密切相关。想象一下，在中国，一个网站可能需要面对数以亿计的日活跃用户和每秒数亿的计算峰值，这对许多外国公司来说是难以想象的。Flink为
2023-12-25 17:06:53
426
原创 java实现链路追踪日志
使用telemetry,opentelemetry是Google开源的分布式链路跟踪框架,项目开始于2019年，旨在提供基于云环境的可观测性软件的标准化方案，提供与三方无关的监控服务体系。项目迄今为止已获得了Zipkin, Jaeger, skywalking, Prometheus等众多知名中间件的支持其链路追踪原理基本原理如下:要做到链路追踪,
2023-12-07 09:00:55
237
原创 记录flink-cdc-doris踩得一个大坑
最近在做mysql-doris的cdc,但是无论怎么操作,,卡了3-4个工作日,影响心情!先说结论,就是一定要开启checkpoint,因为。
2023-11-29 20:23:47
647
1
原创 hadoop3.3.6的快速部署,并使用broker将数据从hdfs导入到doris
其中 192.168.1.210 是你服务器的地址,9000是端口,这个在doris的broker组件从doris读取数据时需要,这个在java类编程读取数据时也需要,可以理解为对外的ip。/root/hadoop/hadoop-3.3.6/etc/hadoop 中的core-site.xml。否则在执行start-all.sh的时候,会报错,在此记不清具体步骤了 可以在启动时进行查看,– hadoop.tmp.dir 默认是 /tmp/hadoop-root/1.首次启动之前需要format操作。
2023-11-28 15:36:21
284
原创 flink on k8s的基本介绍
Apache Flink 是一个流处理引擎，具有高效的流处理和批处理能力，以及良好的可伸缩性和容错性。Kubernetes（简称 K8s）是一种容器编排系统，用于自动化容器部署、扩展和管理。将 Flink 部署在 K8s 上可以充分利用 Kubernetes 的优势，实现流处理的高可用、高性能和高弹性。
2023-11-28 14:55:29
753
原创 Flink K8s Application任务的使用
这里我们可以指定一定的运行参数，相关的参数设定方案请参考官方文档https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/deployment/config/#kubernetes。 PodTemplate主要是通过指定pod的启动样例，在podtemplate中可以指定域名、挂载路径、配置文件、初始化容器等信息，如下给出一个提供一个将保存点持久化的的podtemplate。制作镜像，在这里通过官方文档进行。
2023-11-28 14:53:25
464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人