配置项 | TaskManager 配置参数 | JobManager 配置参数 |
Flink 总内存 | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
进程总内存 | taskmanager.memory.process.size | jobmanager.memory.process.size |
/**
* Flink从topic中最初的数据开始消费
*/
consumer.setStartFromEarliest();
/**
* Flink从topic中指定的时间点开始消费,指定时间点之前的数据忽略
*/
consumer.setStartFromTimestamp(时间戳);
/**
* Flink从topic中指定的offset开始,这个比较复杂,需要手动指定offset
*/
consumer.setStartFromSpecificOffsets(offsets);
/**
* Flink从topic中最新的数据开始消费
*/
consumer.setStartFromLatest();
/**
* Flink从topic中指定的group上次消费的位置开始消费,所以必须配置group.id参数
*/
consumer.setStartFromGroupOffsets();
flink开启rocksdb的ck
state.backend: rocksdb
state.backend.incremental: true
flink on yarn查看进程信息
flink list -yid applicationId
flink on yarn取消任务
flink cancel -yid applicationId jobId