Flink防火墙开启状态下的端口问题

最新推荐文章于 2023-10-13 13:16:52 发布
最新推荐文章于 2023-10-13 13:16:52 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： Flink 文章标签： Flink防火墙 Flink 端口
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31866793/article/details/111180556
版权

1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口time out ,实际也是关闭防火墙的情况下，集群可以正常运行。

 

2，查询官方之后，跟查询源码后，开放端口

在flink-conf.yaml：

taskmanager.rpc.port: 50100-50200
metrics.internal.query-service.port: 50201-50300
blob.server.port: 50301-50400

 

还有默认的端口 8081 6123等端口

3，参考地址

https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html

源码：

黄瓜炖啤酒鸭
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink状态管理和检查点机制项目代码.rar
10-19
相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用： 具体而言，Flink 又将状态 (State) 分为 Keyed State 与 Operator State： 算子状态 (Operator State)：顾名思义，状态是和算子进行绑定的，一个算子的状态不能被其他算子所访问到。 键控状态 (Keyed State) ：是一种特殊的算子状态，即状态是根据 key 值进行区分的，Flink 会为每类键值维护一个状态实例。 为了使 Flink 的状态具有良好的容错性，Flink 提供了检查点机制 (CheckPoints) 。通过检查点机制，Flink 定期在数据流上生成 checkpoint barrier ，当某个算子收到 barrier 时，即会基于当前状态生成一份快照，然后再将该 barrier 传递到下游算子，下游算子接收到该 barrier 后，也基于当前状态生成一份快照，依次传递直至到最后的 Sink 算子上。当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态
Flink笔记(五)：Windows/Linux 开启端口监听
01-20
1.Windows 开启端口监听        Windows本身是不支持 nc 端口监听的。但是我们可以通过下载 netcat 来是解决这个问题。下载地址：netcat        下载后，进行解压，并将解压后目录下的所有文(.txt 文件除外)，复制到 C:\Windows\System32 目录下，我们便可以在 cmd 命令行使用 nc 命令了。        我们通过命令：nc -help可以查看该命令的使用描述。        使用命令：nc -lp 8888即可开启监听 8888 端口号 2.Linux 开启端口监听       Linux 开启端口监听，也是使用nc命令
Flink常用指令及端口
qq_18629653的博客
10-05 7007
启动flink ./start-cluster.sh 关闭flink bin/stop-cluster.sh 查看当前运行的任务 bin/flink list 查看所有的任务 bin/flink list --all 停止当前任务 bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2 提交任务 bin/flink run -c com.offcn.wordCount.wordCountJava /root/flinkJar/FlinkDeno-1.0-SNAPS
Prometheus学习系列（十三）之配置解析
Coffin_monkey的博客
05-26 2217
Prometheus通过命令行标志和配置文件进行配置。 虽然命令行标志配置了不可变的系统参数（例如存储位置，保留在磁盘和内存中的数据量等），但配置文件定义了与抓取作业及其实例相关的所有内容，以及哪些规则文件 载入。 要查看所有可用的命令行参数，执行./prometheus -h Prometheus可以在运行时重新加载其配置。 如果新配置格式不正确，则不会应用更改。 通过向Prometheus进程...
Flink在k8s生产环境高可用部署
shirukai
11-02 7965
Flink在k8s生产环境高可用部署 flink: 1.10.1 kubernetes: 1.18.8 1 前言 目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN 还是On K8S之前文章都有介绍，《Flink Cluster On YARN部署》和《Flink Clust
Flink 编程接口
weixin_30835933的博客
09-22 310
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界...
flink入门
kylin_xue的专栏
07-11 349
测试socketWindowWordCount example win10端安装下载netcat(https://eternallybored.org/misc/netcat/netcat-win32-1.12.zip)，将可执行文件加入环境变量Path 执行命令 nc -l -p 9000 （监听9000端口，如果联通可以发送消息）【linux上直接 nc -l 9000即可】 ...
Flink
Do_BUG的博客
07-14 1868
Flink
flink修改默认端口
夜灬狼丶
09-16 4574
部署了一套flink，启动发现默认端口8081被占用，于是去更改默认端口， 第一次没找到，后来再排查的时候发现配置文件中认端口是被注释的(平时查看配置一般都只看未注释项目)，特此记录 flink配置文件如下图所示 $flink_HOME/conf/flink-conf.yaml 大约第143行，解开注释，修改端口号后重启 ...
Flink修改默认端口
qq_56870570的博客
03-22 6344
当你部署了Spark或Azkaban等应用，启动flink时发现默认端口8081被占用，于是得去更改默认端口。 方法如下： 修改配置文件conf里面的flink-conf.yaml和masters。 vim flink-conf.yaml 修改或添加（注意:后有一个空格，否则无法生效）： rest.port: 8082 同时将masters里面的端口也修改为8082 vim masters hadoop01:8082 hadoop02:8082 并将flink-conf.yaml和ma.
Apache FlinkCEP 实现超时状态监控的步骤详解
09-14
主要介绍了Apache FlinkCEP 实现超时状态监控的步骤，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
Flink状态编程-订单超时告警.pdf
03-04
Flink状态编程学习小结，附订单超时告警实战案例。 无状态计算实现的复杂度相对较低，实现起来较容易，但是无法完成提到的比较复杂的业务场景: CEP（复杂事件处理）:获取符合某一特定事件规则的事件，状态计算就...
Flink笔记(二十)：Flink 之 State 状态介绍
01-07
 Flink 架构体系的一大特性是：有状态计算。 有状态计算：任务执行过程中，会存储计算过程中产生的中间结果，并提供后续的 Function 或 算子计算结果使用 状态：任务内部数据（计算数据和元数据属性）的快照。在...
流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式
qq_20466211的博客
07-22 1345
flink的安装
【flink配置系列】FLink配置大全
wang2leee的博客
10-13 1566
所有配置都在`conf/flink-conf.yaml`中完成，这个文件应该是一个扁平的[YAML键值对](http://www.yaml.org/spec/1.2/spec.html)集合，格式为`key: value`。配置在Flink进程启动时被解析和评估。对配置文件的更改需要重新启动相关的进程。
初识Apache+Flink
ljm13485468232的博客
07-30 283
一、什么是Apache Flink Apache Flink 是一个框架和分布式处理引擎，用于在*无边界和有边界*数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 二、Flink 架构中的重要方面 1、处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 *无界* 或者 *有界* 流来处理。 (1)无界流 有定义流的开始，但没有.
Flink学习01 - Flink部署
SeafyLiang的博客
01-20 273
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job ClusterFlink部署 - Kubernetes模式 学习资料 尚硅谷2021最新Java版Flink（武老师清华硕士，
关于Flink 本地测试，自定义WebUI 端口的方法
SuCicada 小米的蝉
09-09 6811
以1.11.1版本举例，相差不大的版本之间大同小异。 当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers
基于springboot+vue+MySQL实现的在线考试系统+源代码+文档
最新发布
06-01
web期末作业设计网页 基于springboot+vue+MySQL实现的在线考试系统+源代码+文档
flink 关闭防火墙
11-25
根据提供的引用内容，无法得知如何关闭防火墙。但是，如果您想在Linux系统上关闭防火墙，可以按照以下步骤进行操作： 1. 查看防火墙状态 ```shell sudo systemctl status firewalld ``` 2. 停止防火墙 ```shell sudo systemctl stop firewalld ``` 3. 禁止防火墙开机启动 ```shell sudo systemctl disable firewalld ``` 请注意，关闭防火墙会使您的系统面临一定的安全风险，因此在关闭防火墙之前，请确保您已经了解了相关的安全风险和措施。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值