Flink 本地任务添加配置参数

Flink 本地任务添加配置参数

配置一个Configuration,然后通过StreamExecutionEnvironment.getExecutionEnvironment(configuration)传入。
例如:

		Configuration configuration = new Configuration();
        configuration.set(RestartStrategyOptions.RESTART_STRATEGY,"fixed-delay");
        configuration.set(RestartStrategyOptions.RESTART_STRATEGY_FIXED_DELAY_ATTEMPTS, 3);
        configuration.set(RestartStrategyOptions.RESTART_STRATEGY_FIXED_DELAY_DELAY, Duration.ofMinutes(1));
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(configuration);
<think>好的,用户想了解如何在本地环境中部署Flink,需要本地部署教程或配置指南。首先,我需要回忆之前提供的引用内容,看看哪些信息可以直接应用。引用[2]提到本地部署的详细教程,包括Java环境配置flink-conf.yaml的修改。引用[3]涉及配置文件修改,如JobManager和TaskManager的设置,内存和任务槽数量。引用[1]则关于提交作业的命令行操作,但用户现在需要的是部署,可能后续才会用到提交作业的部分。用户的需求是本地部署,所以需要分步骤说明。首先确保系统要求,比如Java环境。然后下载Flink,解压。接着配置环境变量,修改flink-conf.yaml,配置主节点和任务管理器的参数。然后是启动集群,验证是否成功,可能通过WebUI或提交测试作业。最后可能需要停止集群的方法。需要注意用户可能对某些术语不熟悉,比如JobManager、TaskManager,需要适当解释。同时,要指出常见问题,例如端口冲突或Java环境问题,引用[2]提到设置JAVA_HOME的重要性。还要确保所有命令和路径正确,比如使用./bin/start-cluster.sh来启动。另外,用户可能后续会问如何提交作业或优化配置,可以提前准备相关问题,如部署后的验证步骤、配置文件详解、资源调优等。需要检查引用中的信息是否足够覆盖这些方面,并补充必要的细节,比如检查WebUI的端口8081是否正确打开,或者如何查看日志排查问题。最后,确保回答结构清晰,分步骤进行,使用代码块或命令示例,并符合格式要求,比如数学表达式用$...$,独立公式用$$...$$,但在这个问题中可能用不上数学公式,所以重点在代码块和配置示例。同时,引用要正确标注,如设置env.java.home在引用[2]中,配置JobManager地址在引用[3]中。</think>### Flink本地环境部署指南 #### 一、系统要求 1. 操作系统:Linux/MacOS/Windows 10+(需支持WSL2) 2. Java环境:JDK 8/11(推荐OpenJDK 11)[^2] 3. 内存:至少4GB可用内存 #### 二、部署步骤 1. **下载安装包** 访问[Apache Flink官网](https://flink.apache.org/downloads.html)下载最新稳定版(示例使用1.17.1): ```bash wget https://dlcdn.apache.org/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz ``` 2. **解压安装包** ```bash tar -xzf flink-1.17.1-bin-scala_2.12.tgz cd flink-1.17.1 ``` 3. **配置Java环境** 修改`conf/flink-conf.yaml`(注意缩进格式): ```yaml env.java.home: /usr/lib/jvm/java-11-openjdk-amd64 # 指向实际JDK路径[^2] ``` 4. **基础配置** 在`conf/flink-conf.yaml`中添加: ```yaml jobmanager.rpc.address: localhost taskmanager.numberOfTaskSlots: 4 # 根据CPU核心数调整[^3] ``` 5. **启动集群** ```bash ./bin/start-cluster.sh # 同时启动JobManager和TaskManager[^3] ``` #### 三、验证部署 1. **访问Web UI** 浏览器打开 http://localhost:8081 ,应看到集群运行状态 2. **运行测试作业** ```bash ./bin/flink run examples/streaming/WordCount.jar ``` #### 四、停止集群 ```bash ./bin/stop-cluster.sh ``` [^1]: 提交作业命令参考 [^2]: Java环境配置说明 [^3]: 集群配置参数说明
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值