java-Flink(三)

最新推荐文章于 2023-12-09 23:37:41 发布
最新推荐文章于 2023-12-09 23:37:41 发布
阅读量161 收藏
点赞数
文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miaoANDmiao/article/details/130089251
版权

FLINK部署（linux）

1.文件下载

Downloads | Apache FlinkApache Flink® Downloads # Apache Flink # Apache Flink® 1.17.0 is the latest stable release.Apache Flink 1.17.0 # Apache Flink 1.17.0 (asc, sha512)Apache Flink 1.17.0 Source Release (asc, sha512)Release Notes # Please have a look at the Release Notes for Apache Flink 1.17.0 if you plan to upgrade your Flink setup from a previous version.Apache Flink 1.16.1 # Apache Flink 1.16.1 (asc, sha512)Apache Flink 1.https://flink.apache.org/downloads/

2.文件解压并启动

tar -zxvf flink-1.10.1-bin-scala_2.12.tgz 

./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.localdomain.
Starting taskexecutor daemon on host localhost.localdomain.

在启动flink之前，需要安装Java的环境，并配置Java的环境变量，建议配置当前用户的环境变量。

vi .bash_profile文件中，加入JAVA_HOME和PATH俩个变量。

3.查看进程

[wm@localhost flink-1.10.1]$ jps
bash: jps: 未找到命令...
[wm@localhost flink-1.10.1]$ rpm -qa|grep -i jdk
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
copy-jdk-configs-3.3-10.el7_5.noarch
java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
[wm@localhost flink-1.10.1]$ yum list *openjdk-devel*
已加载插件：fastestmirror, langpacks
Determining fastest mirrors
 * base: mirrors.nju.edu.cn
 * extras: mirrors.nju.edu.cn
 * updates: ftp.sjtu.edu.cn
可安装的软件包
java-1.6.0-openjdk-devel.x86_64        1:1.6.0.41-1.13.13.1.el7_3        base   
java-1.7.0-openjdk-devel.x86_64        1:1.7.0.261-2.6.22.2.el7_8        base   
java-1.8.0-openjdk-devel.i686          1:1.8.0.362.b08-1.el7_9           updates
java-1.8.0-openjdk-devel.x86_64        1:1.8.0.362.b08-1.el7_9           updates
java-11-openjdk-devel.i686             1:11.0.18.0.10-1.el7_9            updates
java-11-openjdk-devel.x86_64           1:11.0.18.0.10-1.el7_9            updates
[wm@localhost flink-1.10.1]$ jps
bash: jps: 未找到命令...
[wm@localhost flink-1.10.1]$ yum install java-1.8.0-openjdk-devel.x86_64 
已加载插件：fastestmirror, langpacks
您需要 root 权限执行此命令。
[wm@localhost flink-1.10.1]$ su yum install java-1.8.0-openjdk-devel.x86_64
su: user yum does not exist
[wm@localhost flink-1.10.1]$ su
密码：
[root@localhost flink-1.10.1]# yum install java-1.8.0-openjdk-devel.x86_64
已加载插件：fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.bupt.edu.cn
 * extras: mirrors.bupt.edu.cn
 * updates: mirrors.bupt.edu.cn
正在解决依赖关系
--> 正在检查事务
---> 软件包 java-1.8.0-openjdk-devel.x86_64.1.1.8.0.362.b08-1.el7_9 将被 安装
--> 正在处理依赖关系 java-1.8.0-openjdk(x86-64) = 1:1.8.0.362.b08-1.el7_9，它被软件包 1:java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 java-1.8.0-openjdk.x86_64.1.1.8.0.262.b10-1.el7 将被 升级
---> 软件包 java-1.8.0-openjdk.x86_64.1.1.8.0.362.b08-1.el7_9 将被 更新
--> 正在处理依赖关系 java-1.8.0-openjdk-headless(x86-64) = 1:1.8.0.362.b08-1.el7_9，它被软件包 1:java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 java-1.8.0-openjdk-headless.x86_64.1.1.8.0.262.b10-1.el7 将被 升级
---> 软件包 java-1.8.0-openjdk-headless.x86_64.1.1.8.0.362.b08-1.el7_9 将被 更新
--> 正在处理依赖关系 tzdata-java >= 2022g，它被软件包 1:java-1.8.0-openjdk-headless-1.8.0.362.b08-1.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 tzdata-java.noarch.0.2020a-1.el7 将被 升级
---> 软件包 tzdata-java.noarch.0.2023c-1.el7 将被 更新
--> 解决依赖关系完成

依赖关系解决

============================================================================================================================================
 Package                                     架构                   版本                                      源                       大小
============================================================================================================================================
正在安装:
 java-1.8.0-openjdk-devel                    x86_64                 1:1.8.0.362.b08-1.el7_9                   updates                 9.8 M
为依赖而更新:
 java-1.8.0-openjdk                          x86_64                 1:1.8.0.362.b08-1.el7_9                   updates                 317 k
 java-1.8.0-openjdk-headless                 x86_64                 1:1.8.0.362.b08-1.el7_9                   updates                  33 M
 tzdata-java                                 noarch                 2023c-1.el7                               updates                 186 k

事务概要
============================================================================================================================================
安装  1 软件包
升级           ( 3 依赖软件包)

总计：43 M
总下载量：9.8 M
Is this ok [y/d/N]: y
Downloading packages:
警告：/var/cache/yum/x86_64/7/updates/packages/java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID f4a80eb5: NOKEY
java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64.rpm 的公钥尚未安装
java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64.rpm                                                            | 9.8 MB  00:00:17     
从 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 检索密钥
导入 GPG key 0xF4A80EB5:
 用户ID     : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>"
 指纹       : 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5
 软件包     : centos-release-7-9.2009.0.el7.centos.x86_64 (@anaconda)
 来自       : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
是否继续？[y/N]：y
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  正在更新    : tzdata-java-2023c-1.el7.noarch                                                                                          1/7 
  正在更新    : 1:java-1.8.0-openjdk-headless-1.8.0.362.b08-1.el7_9.x86_64                                                              2/7 
warning: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/blacklisted.certs created as /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/blacklisted.certs.rpmnew
warning: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.policy created as /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.policy.rpmnew
warning: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.security created as /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.security.rpmnew
restored /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/blacklisted.certs.rpmnew to /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/blacklisted.certs
restored /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.policy.rpmnew to /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.policy
restored /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.security.rpmnew to /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64/jre/lib/security/java.security
  正在更新    : 1:java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64                                                                       3/7 
  正在安装    : 1:java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64                                                                 4/7 
  清理        : 1:java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64                                                                         5/7 
  清理        : 1:java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64                                                                6/7 
  清理        : tzdata-java-2020a-1.el7.noarch                                                                                          7/7 
  验证中      : 1:java-1.8.0-openjdk-headless-1.8.0.362.b08-1.el7_9.x86_64                                                              1/7 
  验证中      : 1:java-1.8.0-openjdk-1.8.0.362.b08-1.el7_9.x86_64                                                                       2/7 
  验证中      : tzdata-java-2023c-1.el7.noarch                                                                                          3/7 
  验证中      : 1:java-1.8.0-openjdk-devel-1.8.0.362.b08-1.el7_9.x86_64                                                                 4/7 
  验证中      : 1:java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64                                                                5/7 
  验证中      : 1:java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64                                                                         6/7 
  验证中      : tzdata-java-2020a-1.el7.noarch                                                                                          7/7 

已安装:
  java-1.8.0-openjdk-devel.x86_64 1:1.8.0.362.b08-1.el7_9                                                                                   

作为依赖被升级:
  java-1.8.0-openjdk.x86_64 1:1.8.0.362.b08-1.el7_9                java-1.8.0-openjdk-headless.x86_64 1:1.8.0.362.b08-1.el7_9               
  tzdata-java.noarch 0:2023c-1.el7                                

完毕！
[root@localhost flink-1.10.1]# jps
59680 StandaloneSessionClusterEntrypoint
59984 TaskManagerRunner
61093 Jps

当用jps查看进程出现未找到命令，执行Java -version，发现有jdk并配置了环境变量，执行rmp -qa | grep -i jdk命令查看已经安装的包，发现有jdk,安装openjdk-devel的包，执行命令yum list *openjdk-devel*.再执行yum install java-1.8.0-openjdk-devel.x86_64 

3.访问ui界面

在物理机采用虚拟机的ip加端口号的形式无法访问该页面，但是在物理机可以ping通虚拟机的ip,因此怀疑虚拟机的防火防没有关闭。

1、命令行界面输入“systemctl status firewalld.service”
2、可以查看得到“active（running）”，表示防火墙已经被打开了。
3、然后输入 systemctl stop firewalld.service 命令，关闭防火墙。
4、在输入命令 systemctl status firewalld.service，下方出现disavtive（dead），说明防火墙已经关闭。
5、输入命令“systemctl disable firewalld.service”就可以永久关闭防火墙。

4.上传job

将工程打包成jar包，上传到ui页面对应的位置

entry class是启动类的入口，program arguments是启动的参数配置，parallelism是并行的数，并行数的优先级代码局部的>代码里全局的 >ui界面的>conf文件的，show plan 可以看到代码的过程。

Idealism°i（唯心）
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
95-080-048-源码-启动-启动standalonesession
九师兄
07-03 647
1.视界 2.启动 lcc@lcc flink-1.9.0$ bin/start-cluster.sh Starting cluster. Starting standalonesession daemon on host lcc. Starting taskexecutor daemon on host lcc. [deploy@kylin1 third]$ bin/start-cluster...
Flink独立集群部署和HA部署
相约滦北来看你
12-02 1398
本片详细说明了Flink独立集群部署和HA部署规则和注意要点，并给出具体操作实例，如有出入还望指正。
【学会了学会了】Flink官网翻译——Standalone以及YARN部署
十二
01-04 891
flink官网翻译
flink-table-api-java-bridge_2.11-1.12.7-API文档-中文版.zip
07-12
赠送jar包：flink-table-api-java-bridge_2.11-1.12.7.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.12.7-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.12.7-sources.jar； 赠送Maven依赖信息文件：flink-table-api-java-bridge_2.11-1.12.7.pom； 包含翻译后的API文档：flink-table-api-java-bridge_2.11-1.12.7-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.flink:flink-table-api-java-bridge_2.11:1.12.7； 标签：apache、flink、table、api、java、bridge、中文文档、jar包； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精
一 Flink集群搭建部署
曌的博客
02-28 858
1.1本地模式部署 1.1.1 将压缩包解压 [root@master root]# tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/ 压缩包下载地址： 1.1.2 创建软连接（实质修改解压后的文件名） [root@master local]# ln -s flink-1.9.1/ flink 1.1.3 配置环境变量 [root@ma...
Flink(二)
weixin_63816398的博客
10-10 454
Flink
flink安装以及运行自带wordcount示例（单机版，无hadoop环境）
日进一步
10-26 8336
1、下载安装包到/opt目录 2、解压安装包 tar zxf flink-1.6.1-bin-hadoop26-scala_2.11.tgz  3、启动flink cd /opt/flink-1.6.1/bin [root@localhost bin]# ./start-cluster.sh  Starting cluster. Starting standalonesession ...
Flink部署 完整使用 (第三章)
小坏说后端
08-09 1285
Flink支持多种不同的部署模式，还可以和不同的资源管理平台方便地集成。本章从快速启动的示例入手，接着介绍了Flink中几种部署模式的区别，并进一步针对不同的资源提供者展开讲解了具体的部署操作。在这个过程中，我们不仅熟悉了Flink的使用方法，而且接触到了很多内部运行原理的知识。关于Flink运行时组件概念的作用，以及作业提交运行的流程架构，我们会在下一章进一步详细展开。...
flink的伪分布式搭建
健康平安的活着的专栏
01-15 1802
一 flink的伪分布式搭建 1.1 执行架构图 1.Flink程序需要提交给 Job Client 2.Job Client将作业提交给 Job Manager 3.Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的 Task Manage。 4.Task Manager启动一个线程以开始执行。Task Manager会向Job Manager报告状态更改。例如开始执行，正在进行或已完成。 5.作业执行完成后，结果将发送...
Flink:详细的不能再详细的安装步骤(三)[安装步骤]
07-27 6733
3.第Flink 集群搭建 Flink 支持多种安装模式。 local[本地]单机模式 -------单机模式， 一般不使用 standalone --------独立模式， Flink 自带集群，开发测试环境使用 yarn ------计算资源统一由 Hadoop YARN 管理，生产环境测试 3.1 standalone 集群环境 3.1.1 准备工作 jdk1.8 及以上【 配置 JAVA_HOME 环境变量】 ssh 免密码登录【 集群内节点之间免密登录】 3.1.2 下载安装包 Flin
java-flink1.12代码demo
12-14
里面有一些使用java flink实现的实时流处理任务demo代码，感兴趣的同学可以下载学习使用。
flink-table-api-java-bridge_2.11-1.13.2-API文档-中英对照版.zip
06-05
赠送jar包：flink-table-api-java-bridge_2.11-1.13.2.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.13.2-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.13.2-sources.jar； 赠送...
flink-table-api-java-bridge_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-api-java-bridge_2.11-1.10.0.jar； 赠送原API文档：flink-table-api-java-bridge_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-api-java-bridge_2.11-1.10.0-sources.jar； 赠送...
flink-java-1.14.3-API文档-中文版.zip
06-06
赠送jar包：flink-java-1.14.3.jar； 赠送原API文档：flink-java-1.14.3-javadoc.jar； 赠送源代码：flink-java-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-java-1.14.3.pom； 包含翻译后的API文档：flink-...
Flink 本地单机/Standalone集群/YARN模式集群搭建
程序猿进阶
12-09 1842
集群，任务之间相互独立，互不影响，方便管理。任务执行完成之后创建的集群也会消失。现在，您的 Flink系统已启动并正在运行。现在，在本地节点上运行的。分离模式（与当前客户端无关，当客户端提交完任务就结束，不用等到。提供集群中所有节点的列表，这些列表将用作工作节点。，添加该配置表示内存超过分配值，是否将任务杀掉。集群，开辟指定的资源，以后提交任务都向这里提交，这个。文件中列出的所有辅助节点，以在每个节点上启动。得到结果，这里统计的是默认的数据集，可以通过。页面看看，如果没有修改配置中的端口，默认是。
大数据 Apache Flink的HA集群搭建
Mr_YXX的博客
02-28 279
官方地址连接 独立集群的JobManager高可用性的一般思想是，在任何时候都有一个单一的领先JobManager和多个备用JobManager来接管领导层，以防领导者失败。这就保证了没有单点故障，只要有一个待命的作业经理担任领导，程序就可以取得进展。待机和主JobManager实例之间没有明确的区别。每个JobManager都可以担任master或standby角色。 搭建过程 先决条件...
[4] Flink大数据流式处理利剑: Flink集群安装和运行
超越梦想，一起飞！！！
02-01 3838
本节笔者总结了如何在一个机器上安装集群，以及在多个机器上安装集群；并提到了通过zookeeper可以让Flink集群的Master节点也保持高可用；最后演示了如何部署一个SocketWindowWordCount.jar的例子，并在Flink的Web UI上面观察其job的执行情况和输出！
Flink入门 02.安装部署
跟着大数据和AI去旅行
09-01 349
Flink支持多种安装模式 Local—本地单机模式，学习测试时使用 Standalone—独立集群模式，Flink自带集群，开发测试环境使用 StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用 On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用 1 Local本地模式 1.1 原理 Flink程序由JobClient进行提交 JobClient将作业提交给JobManager JobManager负责协调资源分配和作业执
CentOS7配置java环境变量
热门推荐
05-16 1万+
1，卸载自带的OpenJDK centos7自带OpenJDK，运行java -version命令正常显示出版本信息。由于OpenJDK安装环境不全，缺少必要的jar包，即使配置好环境变量，javac等命令依旧不能用。所以需要先将自带的OpenJDK卸载，然后安装自己下载的jdk1.8.0_241版本，配置好环境变量。 1)切换到root用户，执行rpm -qa |grepjava命令，查看已经安装的OpenJDK [root@localhost ~]# rpm -qa | grep java j..
flink-java 中文文档
最新发布
01-15
总的来说，Flink-Java 中文文档能够帮助开发者快速入门和精通 flink-java，让他们能够更好的利用 Flink 进行大数据处理和分析。文档内容详实，通俗易懂，是学习和使用 flink-java 的不错的参考资料。希望通过阅读...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值