第一步:搭建集群
搭建Flink的集群环境有两种方法,根据需要选一个即可:
- 单点启动:将所有的资源配置在一台主机上,比如hadoop的DataNode、NameNode…flink的jobManager、TaskManager都部署在一台主机上。故常用于测试
- 集群启动:将hadoop的DataNode、NameNode…flink的jobManager、TaskManager设置到不同的主机上,减轻主机压力。故常用于实际环境
1.1 单点启动(用于测试)
1.2 集群启动(用于实际环境)
第二步:设置系统结构
Flink的系统结构有3种,根据需要为其设置一种即可:
- 会话模式:多对一
- 单作业模式:一对一,在客户端上直接调用应用程序的 main()方法
- 应用模式:一对一,在JobManager 上直接调用应用程序的 main()方法
第三步:设置系统的资源框架
Flink可以跑在常见的资源管理器上,以下选一种即可:
- local
- standalone
- yarn
- k8s