Flink安装与使用

已于 2023-09-10 16:52:28 修改
阅读量823 收藏
点赞数
文章标签： flink scala 大数据
于 2023-08-18 21:50:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SimpleSimpleSimples/article/details/127189858
版权

1.安装准备工作

下载flink

Apache Flink: 下载

解压
[doda@host166 bigdata]$ tar -zxvf flink-1.12.0-bin-scala_2.11.tgz

2.Flinnk的standalone模式安装

2.1修改配置文件并启动

修改，好像使用默认的就可以了

[doda@host166 conf]$ more flink-conf.yaml

启动
[doda@host166 bin]$ sh start-cluster.sh 

2.2访问默认端口8081

http://172.21.72.166:8081/#/task-manager

 2.3提交任务

指定类提交任务

[doda@host166 flink-1.12.0]$ ./bin/flink run -c com.ztesoft.flink.FlinkCDCNew  flink-0.0.1-SNAPSHOT-jar-with-dependencies.jar
Setting HBASE_CONF_DIR=/etc/hbase/conf because no HBASE_CONF_DIR was set.
Job has been submitted with JobID ea66c66f01f7b8c0a110bd7475922e55

查看任务提交状态，修改数据，查看日志

flink的安装与使用（ubuntu）
qq_38152400的博客
11-01 1926
flink的安装与使用（ubuntu）
flink介绍、安装以及基本使用
Q583137502的博客
07-25 839
flink主要解决大数据流式计算问题，举个例子，我们在一个系统中难免会遇到统计功能，例如淘宝里面每间商品每个月销量，微信里面每月支出收入等，当数据达到一定程度，光靠数据库里的sum group by是不现实的，多则千万条数据，更甚多个表关联后会达到数亿计的临时数据，实时的统计会使得数据库占用大量资源，这个时候就需要流式计算，针对实时的数据变更通过流式计算出统计的数据，相当于每时每刻都在增量的计算统计结果，查询统计时直接读取当前的结果即可。
Flink笔记(五)：Windows/Linux 开启端口监听
01-20
1.Windows 开启端口监听        Windows本身是不支持 nc 端口监听的。但是我们可以通过下载 netcat 来是解决这个问题。下载地址：netcat        下载后，进行解压，并将解压后目录下的所有文(.txt 文件除外)，复制到 C:\Windows\System32 目录下，我们便可以在 cmd 命令行使用 nc 命令了。        我们通过命令：nc -help可以查看该命令的使用描述。        使用命令：nc -lp 8888即可开启监听 8888 端口号 2.Linux 开启端口监听       Linux 开启端口监听，也是使用nc命令
Flink 编程接口
weixin_30835933的博客
09-22 368
欢迎来 kk大数据，今天分享的是 Flink 提供了哪些编程接口可以给我们开发。 一、数据集类型 现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。 根据现实世界中，数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界...
Flink常用指令及端口
qq_18629653的博客
10-05 7306
启动flink ./start-cluster.sh 关闭flink bin/stop-cluster.sh 查看当前运行的任务 bin/flink list 查看所有的任务 bin/flink list --all 停止当前任务 bin/flink cancel 471ede242bd2fa22d32ed147a025e5d2 提交任务 bin/flink run -c com.offcn.wordCount.wordCountJava /root/flinkJar/FlinkDeno-1.0-SNAPS
flink入门
kylin_xue的专栏
07-11 431
测试socketWindowWordCount example win10端安装下载netcat(https://eternallybored.org/misc/netcat/netcat-win32-1.12.zip)，将可执行文件加入环境变量Path 执行命令 nc -l -p 9000 （监听9000端口，如果联通可以发送消息）【linux上直接 nc -l 9000即可】 ...
Flink
Do_BUG的博客
07-14 2955
Flink
Flink安装及使用 - 简书.pdf
02-29
### Flink安装与使用知识点详解 #### 一、Flink简介 Apache Flink 是一个用于分布式数据流处理和批量数据处理的开源框架。它能够处理无界和有界数据流，支持高吞吐量、低延迟和精确一次的状态一致性。Flink 的核心...
flink安装所需要的第三方jar
03-03
标题中的“flink安装所需要的第三方jar”指的是在部署和运行Apache Flink项目时，除了Flink自身的基础库之外，可能还需要依赖的一些外部JAR包。这些JAR包通常包含了Flink与其它系统的交互所需的组件，比如Hadoop。在...
flink1.18.1安装包
05-29
Scala API是与Flink交互的常见方式，但也有Java和Python版本。你可以根据项目需求选择合适的编程语言。 此外，Flink支持状态管理和容错机制，如检查点（Checkpoints）和保存点（Savepoints），以确保在出现故障时...
flink修改默认端口
夜灬狼丶
09-16 4841
部署了一套flink，启动发现默认端口8081被占用，于是去更改默认端口， 第一次没找到，后来再排查的时候发现配置文件中认端口是被注释的(平时查看配置一般都只看未注释项目)，特此记录 flink配置文件如下图所示 $flink_HOME/conf/flink-conf.yaml 大约第143行，解开注释，修改端口号后重启 ...
Flink修改默认端口
qq_56870570的博客
03-22 7345
当你部署了Spark或Azkaban等应用，启动flink时发现默认端口8081被占用，于是得去更改默认端口。 方法如下： 修改配置文件conf里面的flink-conf.yaml和masters。 vim flink-conf.yaml 修改或添加（注意:后有一个空格，否则无法生效）： rest.port: 8082 同时将masters里面的端口也修改为8082 vim masters hadoop01:8082 hadoop02:8082 并将flink-conf.yaml和ma.
初识Apache+Flink
ljm13485468232的博客
07-30 367
一、什么是Apache Flink Apache Flink 是一个框架和分布式处理引擎，用于在*无边界和有边界*数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 二、Flink 架构中的重要方面 1、处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 *无界* 或者 *有界* 流来处理。 (1)无界流 有定义流的开始，但没有.
Flink防火墙开启状态下的端口问题
qq_31866793的博客
12-14 2000
1，简单记录一下，开启防火墙的情况下，Flink执行任务报错，看日志就是端口timeout ,实际也是关闭防火墙的情况下，集群可以正常运行。 2，查询官方之后，跟查询源码后，开放端口 在flink-conf.yaml： taskmanager.rpc.port: 50100-50200 metrics.internal.query-service.port: 50201-50300 blob.server.port: 50301-50400 还有默认的端口 8081 6123等端口 ...
Flink学习01 - Flink部署
SeafyLiang的博客
01-20 365
Flink学习01 - Flink部署学习资料Flink部署Flink部署 - Standalone模式启动flink停止flink配置文件并行度优先级命令行提交job命令行取消job查看Flink输出Flink部署 - Yarn模式Flink on Yarn1）Session-cluster模式：2）Per-Job-Cluster模式：Session ClusterPer Job ClusterFlink部署 - Kubernetes模式 学习资料 尚硅谷2021最新Java版Flink（武老师清华硕士，
关于Flink 本地测试，自定义WebUI 端口的方法
SuCicada 小米的蝉
09-09 7058
以1.11.1版本举例，相差不大的版本之间大同小异。 当我们加入了pom依赖后.发现能够看到本地IDE中的flink的webUI了. <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</vers
Flink作业开发清单(2)——常用接口
TRX的博客
03-25 1853
开发Flink作业过程需要用到的一些常用接口： 一、创建StreamExecutionEnvironment StreamExecutionEnvironment主要用来配置一些运行参数以及创建Source。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 配置开启Checkpoint（方便作业失败后自动恢复）： env.enableCheckpointing(600
IT学习笔记--Flink
最新发布
xudasong123的博客
06-03 1437
Data Sources 就字面意思其实就可以知道：数据来源。Flink做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Sources 就是数据的来源地。Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFunction) 来为你的程序添加数据来源。
Flink 1.15.2 安装教程与压缩包文件使用
2. Flink安装与部署 Flink的安装通常需要下载对应版本的安装包，进行解压缩，然后启动Flink的集群。Flink支持本地单机模式、集群模式和云服务部署。在集群模式下，Flink需要依赖Hadoop环境，包括HDFS和YARN。但是，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值