yuchuanchen的专栏

hadoop版本：hadoop-1.2.1，解压缩到 /usr/java/hadoop 目录下1.进入hadoop目录：cd /usr/java/hadoop/hadoop-1.2.12.启动hadoop： hadoop@ck-ubuntu:/usr/java/hadoop/hadoop-1.2.1$ ./bin/start-all.sh3.jps查看所有java进程：hado

flink 配置调试 client修改 bin/flink 脚本，在 exec $JAVA_RUN $JVM_ARGS $FLINK_ENV_JAVA_OPTS "${log_setting[@]}" -classpath "manglePathList “CCCLASSPATH:CC_CLASSPATH:CCC​LASSPATH:INTERNAL_HADOOP_CLASSPATHS”" org.apache.flink.client.cli.CliFrontend "$@" 命令之前，添加下面的命令：

1 jvm-profiler 编译git clone https://github.com/uber-common/jvm-profiler.gitcd jvm-profilermvn clean packagejvm-profiler-1.0.0.jar 包在 target 目录下2 运行 java 程序要运行的 java 程序启动命令中添加如下 jvm 参数：-javaagent:lib/jvm-profiler-1.0.0.jar=sampleInterval=50javaagen

1. 下载安装wget http://gael.roualland.free.fr/ifstat/ifstat-1.1.tar.gztar zxvf ifstat-1.1.tar.gz cd ifstat-1.1./configuremakemake install2. 命令行ifstat [-a] [-l] [-z] [-n] [-v] [-h] [-t] [-i if0,if1,...] [-d drv[:opt]] [-s [comm@][#]host[/nn]] [-T] [-A]

flink on k8s 目前有两种模式：Kubernetes：用户通过定义 flink 的 k8s 资源描述文件，由 kubectl 命令启动，最终以 standalone session cluster 或 standalone job cluster 模式运行。其中 standalone session cluster 运行多个作业；standalone job cluster 只运行一个作业。Native Kubernetes：用户通过 flink run 命令直接提交作业，由 flink 客

删除 servicekubectl delete service prometheus-tim-3864503240-rwpq5 查看 pod 信息kubectl describe pod prometheus-tim-3864503240-rwpq5删除 podkubectl delete pod prometheus-tim-3864503240-rwpq5 -n kube-system获取 pod 日志kubectl logs flink-cluster-913082d2-aa20

1.docker 私服创建私服docker run -d -p 5000:5000 --restart=always --name registry registry:2拉取 docker 镜像docker pull busybox拉取最新的busybox镜像后，再给其打标，准备发布到Registry中docker tag flink:1.10.0.1 myk8s:5000/flink:1.10.0.1最后再推送给Registrydocker push myk8s:5000/flink

官方文档对 pyflink 的使用说明不是很详细。本文主要参考了 孙金城 大佬的下面几篇文章：Apache Flink 说道系列 - PyFlink 作业的多种部署模式Three Min Series - How to using PyFlink Shell代码参考：https://github.com/pyflink/playgrounds结合自己测试过程，有些地方做了修改，做一个记录。1.从源码编译 flink如果已经获得 flink 二进制包，可以跳过该步骤。可以参考官方文档 Build

1. 背景flink-1.11 引入了一种新的部署模式，即 Application 模式。目前，flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。2. 优势Session模式：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。Per-Job模式：每个作业单独启动集群，隔离性好，JM 负载均衡，main 方法在客户端执行。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行

之前我们了解过 flink checkpoint 流程 和 flink checkpoint 存储策略 ，而当 flink 作业失败恢复或者用户手动从某一个 savepoint/checkpoint 恢复时，就会触发 state restore 流程。下面我们对该流程进行详细分析。本文代码基于 flink-1.10.1.和 checkpoint 流程一样，checkpoint state restore 也需要 CheckpointCoordinator 的参与。CheckpointCoordinat

我们在 flink checkpoint 流程分析 这篇文章中，详细介绍了 checkpoint 的过程；在 Flink 如何保存状态数据 中，介绍了 state 的分类、state 的三种后端存储方式和具体使用方法，并在逻辑上简要介绍了 statebackend 保存 state 的方法。本文将在上面两篇文章基础上，详细介绍 state 的存储策略。本文基于 flink-1.10 版本。文章目录1.同步阶段1.1 DefaultOperatorStateBackend#snapshot()1.2

flink 容错机制的核心是对数据流做连续的分布式快照(snapshots)。在系统失败时，各个算子可以从这些快照构成的检查点(checkpoint)恢复到故障之前的状态，保证即使遇到故障，作业的最终结果只被数据流中的每一条消息影响一次(exactly-once) (这里可以通过配置退化成 at least once)。生成分布式快照的机制在 “[Lightweight Asynchronous Snapshots for Distributed Dataflows](Lightweight Asynchr

文章目录@[toc]1.动机2.设计方案2.1 StreamTask 中要做的改变2.2 client 代码需要做的改变2.3 event 的产生与处理2.4 Checkpoint 和 timer 的 trigger3.具体实现3.1 StreamTask 处理流程3.1.1 process-mail 处理3.1.2 event-processing 处理3.1.3 checkpoint trig...

1.从源码编译 flink注意：需要 Python 3.5+如果已经有 apache-flink-*.dev0.tar.gz 二进制包，可以跳过这一步。mvn clean install -DskipTests会在 flink-python/dist 目录生成一个 apache-flink-*.dev0.tar.gz 二进制包，拷贝该包到需要安装 pyflink 的机器2.安装并测试...

注意：flink-1.10 版本的 native-k8s 还是实验版本，相关配置或客户端可能在未来变更。并且当前版本仅支持 session 模式1.环境需求Kubernetes 版本 >= 1.9用户需要有在 k8s 集群上的相关权限(list/create/delete pods/delete services)，需要准备好 KubeConfig 文件，默认会使用( ~/.kube...

文章目录1.FLIP-73 : 通用的 Executor 接口2.FLIP-81：Executor 相关的新配置3.FLINK-74：Flink JobClient APIflink-1.10 之前，任务提交通常遇到以下问题：任务提交由 Execution Environments 负责，并且和部署的环境(yarn k8s mesos)高度绑定，导致最终 Execution Environm...

附 xmind 源文件：链接: https://pan.baidu.com/s/1MGiCshlxTRg0OFbCRvZNrA 提取码: mt6c

文章目录1.概览2.框架内存(Framework Memory)3.根据比例限制的组件(Capped Fractionated Components)4.对应的 JVM 参数(JVM Parameters)5.本地执行时的内存策略(Local Execution)之前的一篇 文章(flink-1.10 如何配置 Task Executor 内存)介绍了新的内存模型下配置 task executo...

文章目录配置总内存配置 Task Heap 和 Managed MemoryTask (Operator) Heap MemoryManaged Memory配置 Off-Heap Memory (direct or native)flink 分别提供了通用和细粒度的内存配置，来满足不同用户的需求。配置总内存[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VOC...

文章目录异步 I/O 是为了解决 flink 与外部系统 (REST SERVER/Hbase/Mysql 等) 进行频繁交互时的延时而提出的一个特性。官方文档见https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/operators/asyncio.htmlhttps://cwiki.apache.org/c...