flink
文章平均质量分 61
flink学习笔记
龍尐
这个作者很懒,什么都没留下…
展开
-
flink集群HA高可用配置解析
flink集群HA高可用配置解析flink-conf.yamljobmanager.rpc.address: hadoop01【注意。HA的需要按照机器分配】jobmanager.rpc.port: 6123jobmanager.heap.mb: 1024taskmanager.heap.mb: 1024taskmanager.numberOfTaskSlots: 2taskmanager.memory.preallocate: falseparallelism.default: 1job原创 2021-10-12 16:54:36 · 1575 阅读 · 0 评论 -
flink部署模式详解
flink部署模式详解1.local:本地执行适用于本地调试与测试2.standalone:主机部署分为单机集群部署和多机集群部署,只支持session模式单机模式多机模式3.yarn:yarn集群部署支持:session模式、per-job模式、application模式session模式(支持native模式–TM动态添加)per-job模式优缺点:application模式 ----todo待补充!4.Kubernetes:k8s集群原创 2021-10-12 16:43:46 · 375 阅读 · 0 评论 -
flink 编程模型及核心概念
flink 编程模型及核心概念抽象层级:各种分布式处理框架处理流程比较:DataSet and DataStream 批处理:DataSet 流处理:DataStreamflink编程模型:Flink程序看起来像是转换数据集合的常规程序。每个程序包含相同的基本部分:获得一个execution environment。getExecutionEnvironment()createLocalEnvironment()createRemoteEnvironment(Strin原创 2021-10-12 16:23:22 · 162 阅读 · 0 评论 -
flink-native模式简介
flink-native模式简介native模式:默认只启动jobmanager,之后根据job任务提交情况,动态的申请、启动taskmanager计算资源native模式支持yarn、k8s、mesos模式部署。不支持standalone模式部署原创 2021-10-12 11:49:06 · 1237 阅读 · 0 评论 -
flink集群运行模式
flink集群运行支持:session、per-job、application三种模式运行1.session 模式共享jobmanager和taskmanager ,所有job都在同一个runtime中运行main在客户端(deployer)上执行2.per-job 模式多个runtime,每个job独享一个jobmanaager和taskmanager ,每个job启动一个Runtimemain()在客户端(deployer)上执行session和per-job集原创 2021-10-12 11:20:00 · 656 阅读 · 0 评论 -
flink 数据类型解析
flink 数据类型解析1.原生数据类型2.Tuples类型3.Cass Class类型4.POJOs类型[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PASSaVvL-1577933714146)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1571106371...原创 2020-01-02 10:56:16 · 671 阅读 · 0 评论 -
flink on k8s(minikube) session模式部署(HA)
安装 kubectlcurl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectlchmod +x ./kubectl...原创 2019-12-26 10:54:06 · 1496 阅读 · 0 评论