mapeng765441650的博客

flink api常用操作算子1.flink 中算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑2.在flink中有多种不同的DataStream类型，他们之间是通过使用各种算子进行的3.在flink中使用scala语言开发，需要引用import org.apache.flink.streaming.api.scala.Stream...

flink源码学习：http://www.cnblogs.com/bethunebtj/p/9168274.htmlflink on yarn 执行任务的两种方式1.yarn-session.sh(开辟资源)+flink run(提交任务)1.在yarn中起一个守护进程，用于启动多个job,即一个application master 管理多个job 2.启动命令： ./yarn...

flink 动态广播状态笔记1.概要往往我们在做flink任务计算的时候，需要动态的匹配规则，但是我们又不能每次修改都去重新部署服务，所以我们这里需要借助于flink的动态广播状态机制，来实时的处理我们的规则变化2.样例本实例，我们做的是增加动态规则判断，根据实时规则变化来判断是否需要做外部存储校验代码：package com.kn.broadcastimport org....

1.结论（1）rocksdb根据分层触发条件触发compaction操作（2）rocksdb 做merge后，会根据原来的sst数据文件合成新的sst，然后在checkpoint的时候，生成新的hdfs文件，删除旧sst hdfs数据文件（注：这里的rocksdb merge 和checkpoint 是两个独立的线程）2.基础介绍重要概念：（1）active memtable: writ...