KeyarchOS安装Flink1.12.7

1 概述

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统,支持x86、ARM等主流架构处理器,性能和稳定性居于行业领先地位,具备成熟的 CentOS 迁移和替换能力,可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。详细介绍见官网链接https://www.ieisystem.com/kos/product-kos-xq.thtml?id=12126

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。详细介绍见官网链接https://flink.apache.org/

2 安装准备

2.1 操作系统环境

版本信息:KeyarchOS 5.8sp1

硬件平台:X86_64

2.2 Flink版本

Flink-1.12.7

https://flink.apache.org/

生产厂商:Apache软件基金会(ApacheSoftwareFoundation)

3 安装

3.1 安装Java

JDK1.8(已经在KOS AppSteam仓库发布),可以通过yum install直接安装。

yum install java

3.2 安装Flink

1、下载安装包后解压后进入安装目录

tar zxvf flink-1.12.7-bin-scala_2.12.tgz

3.3 配置Flink

vim /etc/profile


source /etc/profile使配置文件即刻生效

4 运行Flink

4.1 启动Flink

1、启动Flink

start-cluster.sh

2、查看启动结果

jps

4.2 查看web页面

浏览器访问localhost:8081

4.3 运行测试脚本

1、运行WordCount脚本

./bin/flink run examples/streaming/WordCount.jar

2、查看运行结果

cat log/flink-root-taskexecutor-7-localhost.localdomain.out

4.4 清理环境

1、结束Flink服务

./bin/stop-cluster.sh

2、删除安装目录

rm -rf /home/flink-1.12.7

Apache Flink是一种开源的流处理框架,用于对大规模数据流进行状态计算。YARN(Yet Another Resource Negotiator)是Hadoop的一个子项目,它是一个资源管理系统,可以为各种应用程序(包括Flink)提供集群资源。 要在YARN上安装Flink 1.16.2,请按照以下步骤操作: 1. 下载Flink 1.16.2 首先,您需要从Apache Flink的官方网站下载Flink 1.16.2的二进制发行版。 2. 解压下载的文件 将下载的压缩包解压到您选择的目录中,例如 `/path/to/flink-1.16.2`。 3. 配置环境变量(可选) 为了方便使用,您可以在您的shell配置文件(如 `.bashrc` 或 `.zshrc`)中设置环境变量,以便可以直接调用Flink命令。 4. 配置YARN客户端 编辑Flink的配置文件,通常位于 `conf/flink-conf.yaml`。您需要设置一些基本的配置,如作业管理器的内存大小等。对于YARN集成,您可能需要配置如下: ```yaml jobmanager.heap.size: 1024m taskmanager.heap.size: 1024m taskmanager.numberOfTaskSlots: 4 parallelism.default: 4 ``` 另外,您需要确保YARN的配置文件(如 `yarn-site.xml`)在 `conf` 目录下,或者您可以通过Flink的命令行选项指定Hadoop配置目录。 5. 部署到YARN 使用Flink的YARN客户端提交作业到YARN集群。您可以使用以下命令格式: ```bash ./bin/flink run -m yarn-cluster -yjm <jobmanager-memory> -ytm <taskmanager-memory> -yd <parallelism> <jar-file> ``` 这里的参数分别代表: - `-m yarn-cluster`:指定运行模式为YARN集群模式。 - `-yjm <jobmanager-memory>`:设置JobManager进程的内存大小。 - `-ytm <taskmanager-memory>`:设置TaskManager进程的内存大小。 - `-yd <parallelism>`:设置作业的默认并行度。 - `<jar-file>`:是您的Flink作业的jar包路径。 如果一切配置正确,Flink将会在YARN上启动并运行您的作业。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值