二、flink中的容错设置
flink支持容错设置,当操作失败了,可以在指定重试的启动时间和重试的次数.有两种设置方式
1.通过配置文件,进行全局的默认设定
2.通过程序的api进行设定。
1.通过配置flink-conf.yaml来设定全局容错
设定出错重试3次
execution-retries.default: 3
设定重试间隔时间5秒
execution-retries.delay: 5 s
2.程序的api进行容错设定
flink支持通过api设定容错信息
env.setNumberOfExecutionRetries(3)
env.getConfig.setExecutionRetryDelay(5000)
执行程序
package code.book.batch.sinksource.scala
import org.apache.flink.api.scala.{ExecutionEnvironment, _}
object FaultTolerance001 {
def main(args: Array[String]): Unit = {
val env = ExecutionEnvironment.getExecutionEnvironment
env.setNumberOfExecutionRetries(3)
env.getConfig.setExecutionRetryDelay(5000)
val ds1 = env.fromElements(2, 5, 3, 7, 9)
ds1.map(_ * 2).print()
}
}