Flink-1.18.1环境搭建

最新推荐文章于 2024-08-06 18:07:40 发布
最新推荐文章于 2024-08-06 18:07:40 发布
阅读量1.7k 收藏 8
点赞数 3
分类专栏： PostgreSQL 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hqwang4/article/details/136045931
版权
本文档详细介绍了如何下载并安装Flink 1.18.1，包括设置环境变量、修改配置参数、避免启动服务时的语法错误，以及如何访问和启动Flink的SQL客户端。
摘要由CSDN通过智能技术生成

下载

下载flink安装包

Index of /dist/flink/flink-1.18.1

下载flink-cdc安装包

Release Release 3.0.0 · ververica/flink-cdc-connectors · GitHub

安装

添加环境变量

vi ~/.bash_profile

export FLINK_HOME=/home/postgres/flink/flink-1.18.1

export PATH=$PATH:$FLINK_HOME/bin

source ~/.bash_profile

参数修改

vi ${FLINK_HOME}/conf/flink-conf.yaml

rest.bind-address: 0.0.0.0

rest.address: 0.0.0.0

启动服务

不要用sh命令启动，因为这样看第三行报错：bin/config.sh: line 32: ` done < <(find "$FLINK_LIB_DIR" ! -type d -name '*.jar' -print0 | sort -z)'

第 32 行的语法在 sh 中是不支持的，

最低0.47元/天 解锁文章
pigcoffee
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FLink-CDC部署（S3:Flink部署）
wengad的博客
03-26 547
在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压)，解压后生成flink-1.18.1 目录，做一个软链接，方便后续换版本，同时也可以少输入一些内容，根据习惯，也可以不做。直接到https://flink.apache.org去下载编译好的tar包即可，这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz。可以修改下JobManager和TaskManager的内存。日志在flink/log下。
Flink1.18.1在CentOS7下的安装和部署
laolitou_1024的博客
03-20 1882
本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记，记录了基本的安装步骤及参数配置，给初学者避坑用。
FlinkCDC 3.1.0 支持 Flink 1.18.0 版本选择
SunTecTec
06-14 569
原因：初步判断是由于flinkcdc不同开发团队使用的flink-cdc-pipeline-connector-doris-3.1.0.jar包内是基于判断flink-1.17.0/conf/config.yaml的flink conf文件而导致，而实际上1.17版本的flink conf/下只有flink-conf.yaml配置文件，在参考原配置手动添加config.yaml文件后仍然无效。
flink-cdc实时抽数（flink1.18）
最新发布
weixin_45741311的博客
08-06 1041
基于flink1.18集群，实现毫秒级实时数据抽取，由Oracle或MySQL关系型数据库，将数据同步到doris数据仓库。建立基于doris的实时数据仓库。主要使用flink顶层的tableApi，SqlApi，使用简单，易于上手，基本通过flink-sql解决所有问题。
Flink 1.18.1的基本使用
我要、发光_233
02-01 1134
【代码】Flink 1.18.1的基本使用。
linux下安装flink 1.18集群
11-10 679
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。四、在flink下面创建logs，data，在data下面创建zk和tmp。五、修改 flink-conf.yaml配置文件。
【未解决】1.18版本flink导入mysql的maven依赖
thorn_s的博客
12-25 748
尝试寻找flink-connector-jdbc的1.18快照版本。找不到flink-connector-jdbc的1.18版本依赖。目前使用1.17版本的并没有报错，可以正常使用。
Flink1.8快速入门与实战
08-29
《Flink1.8快速入门与实战》课程基于Flink最新版本V1.8，本套课程主要针对Flink进行讲解，大家学完以后能对Flink有一个快速的认识，能快速上手构建Flink项目以及搭建Flink生产集群环境。
Flink安装配置
weixin_44280043的博客
05-10 433
在file:/// 中，第一个斜杠 / 表示根目录，第二个斜杠 / 是用来分隔协议和路径部分的，第三个斜杠 / 是表示根目录下的一个目录。因此，file:/// 表示根目录下的一个目录，这种写法通常用于指定本地文件系统的路径。在文件路径中，file:/// 表示本地文件系统的协议前缀。在这种情况下，file:/// 是指定路径是基于本地文件系统的。但是，里面存放的大部分文件都是符号链接，指向目录/usr/lib/systemd/system/还可以在命令行查看flink任务。
【Flink】Flink部署
qq_43744420的博客
08-29 1326
Flink部署模式、会话模式、单作业模式、应用模式、Yarn、独立模式
flink-connector-clickhouse.jar
10-19
flinkSQL clickhouse连接器
Flink-CDC实时读Postgresql数据
骑猪喝咖啡
02-06 2354
CDC（Change Data Capture）,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT, DELETE, UPDATE等。 用户可以在如下的场景使用cdc： （1）实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。 （2）数据库的实时物化视图。
Flink配置【依赖、连接器、类库】
踏雪无痕
05-19 1009
一.简介 每个 Flink 应用都需要依赖一组 Flink 类库。Flink 应用至少需要依赖 Flink APIs。许多应用还会额外依赖连接器类库(比如 Kafka、Cassandra 等)。 当用户运行 Flink 应用时(无论是在 IDE 环境下进行测试，还是部署在分布式环境下)，运行时类库都必须可用。 二.Flink 核心依赖以及应用依赖 与其他运行用户自定义应用的大多数系统一样，Flink 中有两大类依赖类库： Flink 核心依赖：Flink 本身包含运行所需的一组类和依赖，比如协调、网络通讯
flink1.13启动失败
syyyyyyyyyyyyyyh的博客
06-18 590
缺少hadoop相关依赖，有的博主会下载一份2.6版本hadoop或者老版本flink，将依赖导入flink 后发现提供一个包放入$FLINK_HOME/lib下即可 flink-shaded-hadoop-2-uber-2.7.5-7.0 https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.7.5-7.0/flink-shaded-hadoop-2-uber-2.7.5-7.0.jar C.
Flink集群安装及使用
beishanyingluo的博客
07-12 2365
Flink支持多种安装模式 local（本地）——单机模式，一般不使用 standalone——独立模式，Flink自带集群，开发测试环境使用 yarn——计算资源统一由Hadoop YARN管理，生产测试环境使用 1. 伪分布环境部署 Flink程序需要提交给Job Client Job Client将作业提交给Job Manager Job Manager负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的Task Manager Task Manager启动一个线程以开始执行。Ta
Flink CDC读取Mysql数据
penngo的专栏
05-22 3898
Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化，从而进行日志解析，得到变化的数据。 Flink CDC官网：https://github.com/ververica/flink-cdc-connectors MySql CDC：https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con
Flink MySQL CDC
qq_32323239的博客
12-07 3963
Flink sqlclient使用方式下载flink-sql-connector-mysql-cdc-2.3-SNAPSHOT.jar放到.注意： flink-sql-connector-mysql-cdc-XXX-SNAPSHOT 版本为开发分支对应的代码。用户需要下载源代码并编译相应的jar。用户应该使用发布版本，例如flink-sql-connector-mysql-cdc-XXX.jar，发布版本将在 Maven 中央仓库中可用。为每个reader设置设置不同的每一个读取 binlog 的 MySQ
flink-java环境
07-28
总的来说，Flink的Java环境可以使用Java编写，并且可以通过Java的DataStream API来处理数据。但是在处理依赖问题时，可能需要考虑到一些带有Scala版本的第三方库。 #### 引用[.reference_title] - *1* *3* [Flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值