Flink安装与使用

已于 2023-09-10 16:52:28 修改
阅读量718 收藏
点赞数
文章标签： flink scala 大数据
于 2023-08-18 21:50:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SimpleSimpleSimples/article/details/127189858
版权

1.安装准备工作

下载flink

Apache Flink: 下载

解压
[doda@host166 bigdata]$ tar -zxvf flink-1.12.0-bin-scala_2.11.tgz

2.Flinnk的standalone模式安装

2.1修改配置文件并启动

修改，好像使用默认的就可以了

[doda@host166 conf]$ more flink-conf.yaml

启动
[doda@host166 bin]$ sh start-cluster.sh 

2.2访问默认端口8081

http://172.21.72.166:8081/#/task-manager

 2.3提交任务

指定类提交任务

[doda@host166 flink-1.12.0]$ ./bin/flink run -c com.ztesoft.flink.FlinkCDCNew  flink-0.0.1-SNAPSHOT-jar-with-dependencies.jar
Setting HBASE_CONF_DIR=/etc/hbase/conf because no HBASE_CONF_DIR was set.
Job has been submitted with JobID ea66c66f01f7b8c0a110bd7475922e55

查看任务提交状态，修改数据，查看日志

SimpleSimpleSimples
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink笔记(五)：Windows/Linux 开启端口监听
01-20
1.Windows 开启端口监听        Windows本身是不支持 nc 端口监听的。但是我们可以通过下载 netcat 来是解决这个问题。下载地址：netcat        下载后，进行解压，并将解压后目录下的所有文(.txt 文件除外)，复制到 C:\Windows\System32 目录下，我们便可以在 cmd 命令行使用 nc 命令了。        我们通过命令：nc -help可以查看该命令的使用描述。        使用命令：nc -lp 8888即可开启监听 8888 端口号 2.Linux 开启端口监听       Linux 开启端口监听，也是使用nc命令
Flink 编程接口
weixin_30835933的博客
09-22 311
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界...
Flink常用指令及端口
qq_18629653的博客
10-05 7052
启动flink ./start-cluster.sh 关闭flink bin/stop-cluster.sh 查看当前运行的任务 bin/flink list 查看所有的任务 bin/flink list --all 停止当前任务 bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2 提交任务 bin/flink run -c com.offcn.wordCount.wordCountJava /root/flinkJar/FlinkDeno-1.0-SNAPS
flink入门
kylin_xue的专栏
07-11 363
测试socketWindowWordCount example win10端安装下载netcat(https://eternallybored.org/misc/netcat/netcat-win32-1.12.zip)，将可执行文件加入环境变量Path 执行命令 nc -l -p 9000 （监听9000端口，如果联通可以发送消息）【linux上直接 nc -l 9000即可】 ...
Flink
Do_BUG的博客
07-14 1925
Flink
Flink安装及使用 - 简书.pdf
02-29
flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战flink实战
Flink安装教程以及Nginx安装包
03-07
【Flink安装教程】 Flink是一款开源的流处理框架，由Apache基金会开发并维护，它提供了数据流处理、批处理以及事件驱动的应用程序。在安装Flink之前，我们需要确保系统中已经安装了Java Development Kit（JDK）且...
flink安装.pdf
08-15
Flink安装指南 Flink是 Apache 软件基金会下的开源大数据处理引擎，可以实时处理大规模数据。以下是 Flink 安装指南的详细步骤和知识点。 准备工作 在安装 Flink 之前，需要准备以下环境： 1. JDK 安装完成，...
Flink安装-简介.docx
07-30
2. **执行 WordCount**：使用 Flink 的命令行客户端，运行以下命令： ``` ./flink run ../examples/streaming/WordCount.jar --input /iflytek/flink-1.10.1/bin/1.txt --output /iflytek/flink-1.10.1/bin/2.txt ...
Flink安装配置(2)1
08-08
Flink 安装配置 Flink 是一个开源的分布式处理引擎，支持实时数据处理和批量数据处理。下面是 Flink 安装配置的知识点总结： 一、Flink 安装包下载 Flink 的安装包可以从 Apache 官方网站下载，地址为 ...
flink修改默认端口
夜灬狼丶
09-16 4614
部署了一套flink，启动发现默认端口8081被占用，于是去更改默认端口， 第一次没找到，后来再排查的时候发现配置文件中认端口是被注释的(平时查看配置一般都只看未注释项目)，特此记录 flink配置文件如下图所示 $flink_HOME/conf/flink-conf.yaml 大约第143行，解开注释，修改端口号后重启 ...
Flink修改默认端口
qq_56870570的博客
03-22 6484
当你部署了Spark或Azkaban等应用，启动flink时发现默认端口8081被占用，于是得去更改默认端口。 方法如下： 修改配置文件conf里面的flink-conf.yaml和masters。 vim flink-conf.yaml 修改或添加（注意:后有一个空格，否则无法生效）： rest.port: 8082 同时将masters里面的端口也修改为8082 vim masters hadoop01:8082 hadoop02:8082 并将flink-conf.yaml和ma.
初识Apache+Flink
ljm13485468232的博客
07-30 284
一、什么是Apache Flink Apache Flink 是一个框架和分布式处理引擎，用于在*无边界和有边界*数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 二、Flink 架构中的重要方面 1、处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 *无界* 或者 *有界* 流来处理。 (1)无界流 有定义流的开始，但没有.
Flink防火墙开启状态下的端口问题
qq_31866793的博客
12-14 1880
1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口timeout ,实际也是关闭防火墙的情况下，集群可以正常运行。 2，查询官方之后，跟查询源码后，开放端口 在flink-conf.yaml： taskmanager.rpc.port: 50100-50200 metrics.internal.query-service.port: 50201-50300 blob.server.port: 50301-50400 还有默认的端口 8081 6123等端口 ...
Flink学习01 - Flink部署
SeafyLiang的博客
01-20 277
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job ClusterFlink部署 - Kubernetes模式 学习资料 尚硅谷2021最新Java版Flink（武老师清华硕士，
关于Flink 本地测试，自定义WebUI 端口的方法
SuCicada 小米的蝉
09-09 6838
以1.11.1版本举例，相差不大的版本之间大同小异。 当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers
Flink作业开发清单(2)——常用接口
TRX的博客
03-25 1745
开发Flink作业过程需要用到的一些常用接口： 一、创建StreamExecutionEnvironment StreamExecutionEnvironment主要用来配置一些运行参数以及创建Source。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 配置开启Checkpoint（方便作业失败后自动恢复）： env.enableCheckpointing(600
Flink集群安装及测试运行
zll_1234的博客
08-19 6771
下载安装包 查看自己的hadoop版本和scala版本, 这里是hadoop 2.6, scala 2.11 http://mirror.bit.edu.cn/apache/flink/flink-1.7.2/flink-1.7.2-bin-scala_2.11.tgz 解压 tar zxvf ./apps/flink-1.7.2-bin-scala_2.11.tgz -C /home...
flink安装与配置
最新发布
08-22
Flink的安装和配置可以按照以下步骤进行： 1. 首先，你需要下载Flink的安装包。你可以从Flink的官方网站（https://flink.apache.org/downloads.html）上找到最新的稳定版本，并选择适合你操作系统的版本。 2. 下载完成后，解压缩安装包到你选择的目录。你可以使用以下命令进行解压缩： ``` tar -xzf flink-<version>.tgz ``` 其中，`<version>`是你下载的Flink版本号。 3. 进入解压缩后的目录： ``` cd flink-<version> ``` 4. 配置Flink的环境变量。在终端中执行以下命令： ``` export FLINK_HOME=/path/to/flink-<version> export PATH=$PATH:$FLINK_HOME/bin ``` 将上述命令中的`/path/to/flink-<version>`替换为你的Flink安装路径。 5. 配置Flink的配置文件。进入Flink安装目录下的`conf`文件夹，并复制一份`flink-conf.yaml.template`文件并重命名为`flink-conf.yaml`。 ``` cd conf cp flink-conf.yaml.template flink-conf.yaml ``` 6. 打开`flink-conf.yaml`文件，并根据需要进行配置。在这个文件中，你可以设置Flink的各种参数，如任务管理器的内存大小、并行度等。根据需求进行修改后保存。 7. 配置完成后，你可以启动Flink集群。在终端中执行以下命令： ``` ./bin/start-cluster.sh ``` 这将启动Flink的任务管理器和资源管理器。 8. 要验证Flink是否正常运行，你可以在浏览器中访问`http://localhost:8081`，这是Flink的Web界面。如果能够成功访问并显示Flink的状态信息，则表示安装和配置成功。 以上就是Flink的安装与配置过程。希望能对你有所帮助！如果还有其他问题，请继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值