Flink集群高可用启动不了，显示不出进程

最新推荐文章于 2024-08-17 23:40:38 发布

weixin_46014882

最新推荐文章于 2024-08-17 23:40:38 发布

阅读量1.2k

点赞数

分类专栏： Flink 文章标签： flink

本文链接：https://blog.csdn.net/weixin_46014882/article/details/110450106

版权

Flink 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

jps查看进程
发现找不到master与worker的进程

解决方法：
1）添加jar包
flink-shaded-hadoop-2-uber-2.7.5-10.0
2）创建设置的hdfs的路径
3）在/etc/profile里面添加
export HADOOP_HOME=自己的hadoop路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_46014882

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

流批一体计算引擎-3-[Flink]的本地模式Local和standalone模式

qq_20466211的博客

07-22

1587

flink的安装

flink-Job提交和参数配置

互联网知识分享

05-18

596

可以看到默认的配置文件中taskmanager.numberOfTaskSlots:1 每个TaskManager的slots的个数为1，其实整个设置要根据电脑的cpu核素，如果是2核就可以设置为2(电脑的几核决定了可以同时做几件事情，4核就可以同时做4事情，也就是平行度为4)。（1）fink设置语法env.setParallelism(2)//设置并行度，如果设置的是1，那么在控制台就不会显示，如果设置的是>=1，就会显示。，jar包进行正在远行时 spark或flink集群的webUI是才会启动。

参与评论您还未登录，请先登录后发表或查看评论

关于Flin运行启动启动程序jps无进程

Wanttoblack的博客

08-26

1004

大数据计算引擎之Flink配置高可用

风景旧曾谙

12-12

965

原文地址：大数据计算引擎之Flink配置高可用 高可用？什么是高可用？简单的理解就是高度可用性。我们在Hadoop中也曾配置了高可用，配置高可用的目的就是当我们的Hadoop出现故障的时候，我们的系统不至于当场崩溃。比如说我们配置的两个NameNode，当一个NameNode挂了之后，我们的另一个NameNode就会撑起大梁。在Flink中也是一样的。从本质上来说，就是配置两个JobManag...

添加依赖后flink集群启动失败

最新发布

08-17

利用jiron数据开发平台提交flink任务到flink 集群，实现mysql数据实时同步到kafka。缺少依赖：commons-cli-1.6.0.jar。

Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）

风吹海洋浪的博客

05-03

2705

Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）1、Flink虚拟机环境部署2.1、standalone模式2.2、on yarn模式三级目录 1、Flink虚拟机环境部署软件版本 flink 1.12.5 jdk 1.8 zookeeper 1.12.5 hadoop 1.12.5 2.1、standalone模式机器名称担任角色 node01 jobmanager node02-06 t

Flink本地集群部署启动&常见问题的解决方法

Appreciate(欣赏)

07-16

2415

访问页面http://localhost:8081/#/overviewi页面slots卡槽数正确展示说明启动成功。解决方法：设置taskmanager和jobmanager允许所有机器连接。启动成功taskmanager会出现如下进程。启动集群在jobmanager那台机器启动。启动成功jobmanager会出现如下进程。解决方法，检查以下配置是否正确。

B02 - 066、搭建Flink高可用集群

吾心持剑，剑锋披靡

06-28

224

初学耗时：0.5h 注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。一、 1.1 1.2 记忆词： B02 - 999、部署大数据环境及部分编译ギ舒适区ゾ || ♂ 累觉无爱 ♀ 一、 1.1 ~ 1.2 ~ 1.2.1 . 1.2.2 . ...

Flink 集群 zookeeper 高可用部署手册

caolist 的专栏

05-08

4362

文章目录安装前的准备环境安装包集群部署规划部署安装解压配置分发至其他两台机器相同路径启动和关闭集群取消任务补充安装前的准备环境操作系统：Linux（CentOS、SUSE） JDK：1.8.0 并设置好环境变量开放 Flink 相关端口（如：6123、8081）或关闭系统防火墙集群机器之间相互 SSH 免密已配置如果是采用高可用集群，需要安装 Hadoop 集群以及 Zookeepe...

Apache Flink 在汽车之家的应用与实践

阿里云技术

10-11

123

本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2020 分享的议题《Apache Flink 在汽车之家的应用及实践》。主要内容包括： 1.背景及现状 2.AutoStream 平台 3.基于 Flink 的实时生态建设 4.后续规划一、背景及现状 1. 第一阶段在 2019 年之前，汽车之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎，凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性，俘获了大批用户

大数据技术栈速览之：YARN

10-09

455

在Hadoop 2.0及后续版本中，MapReduce的调度部分被外部化并重新编写为名为Yarn的新组件，但Yarn执行调度与Hadoop上运行的任务类型无关，Yarn可在Hadoop上执行除MapReduce以外的工作。 YARN生产背景 MapReduce1.x存在的问题: 1.JobTracker单点故障&节点压力大不易扩展&不支持mapreduce以外的计算框架（...

2023大数据面试真题(持续更新)

热门推荐

我的祖传代码

07-04

3万+

5.有两个数据源，一个记录的是广告投放给用户的日志，一个记录用户访问日志，另外还有一个固定的用户基础表记录用户基本信息（比如学历，年龄等等）。9.线上业务每天产生的业务日志（压缩后>=3G），每天需要加载到hive的log表中，将每天产生的业务日志在压缩之后load到hive的log表时，最好使用的压缩算法是哪个,并说明其原因。为什么不用 Hive 默认的分隔符，默认的分隔符是什么？41.有一千万条短信，有重复，以文本文件的形式保存，一行一条数据，请用五分钟时间，找出重复出现最多的前10条。

flink常见故障排除

第一片心意的博客

10-16

6763

flink常见故障排除

Flink部署后启动不成功错误

qq_56870570的博客

03-18

7938

案例：Flink1.12.4 启动Flink [hadoop@hadoop01 ~]$ bin/start-cluster.sh [hadoop@hadoop01 ~]$ call-cluster.sh jps --------hadoop01-------- 10369 QuorumPeerMain 11297 NodeManager 12241 TaskManagerRunner 10885 JournalNode 10551 NameNode 12599 Jps 12538 HistoryS

【Flink】flink的安装部署（1）

hx1156477702的博客

10-04

2506

Flink集群的搭建，local，standalone，flink on yarn。

Flink：standalone模式下start-cluster.sh之后taskmanager没起来

Jodness' Blogs

08-15

7631

我的版本：Flink1.7.2、jdk1.8.0_201 下午照着Flink官网部署了一下standalone模式，通过start-cluster.sh命令启动Flink集群后发现只有StandaloneSessionClusterEntrypoint进程起来了，并没有TaskManagerRunner，并且8081网页中taskmanager个数为0 后来查看了taskmanager节点lo...

Flink快速入门--安装与示例运行

08-28

275

flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apa...

Linux中查看进程、端口以及jps查看进程：ps、top、netstat和jps

统木木的博客

08-31

4638

ps: 查看进程的瞬间消息。 top: 实时监控进程的运行状况，类似于windows的任务管理器。 netstat: 查看系统中的网络连接和端口的监听状况。 jps:是java提供的一个显示当前所有java进程pid的命令. 常用命令：（1）ps -aux | grep 进程名称（2）ps -ef | grep 进程名称（3...

【BUG处理】jps命令，无法正常显示进程

weixin_47011327的博客

09-25

3115

出错现象：1.启动hdfs，再输入jps时发现进程没有正确显示。 2.查看日志datanodes，发现有错 3.查看日志namenode，会出现这样的错误：Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 解决方法： 1.有可能是之前格式化多次或者是手动输入了主要配置文件（有时候即使肉眼看起来内容一样，但其中也有可以会出现错误，所以建议配置文件最好是去复制粘贴。相关配置文件可以.