Flink——部署StreamPark

已于 2024-03-29 16:38:47 修改
阅读量385 收藏 5
点赞数 8
分类专栏： 实时-Flink篇 文章标签： flink 大数据
于 2024-03-07 14:01:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/penghaichao/article/details/136531474
版权
本文介绍了如何部署Flink1.18，包括下载安装包、按照官网用户指南操作，以及在部署过程中遇到的MySQL连接问题和解决方法，如数据库权限设置和缺失的mysqlconnector的添加。
摘要由CSDN通过智能技术生成

环境准备

  • 提前部署好了Flink 1.18，官方要求1.12及以上
  • jdk 1.8
  • Mysql 5.7，官方要求5.6及以上，也可省略，系统自带h2

Step1：通过streampark官网下载安装包

Step2：跟着官网的user guide进行操作

部署成功后即可通过http://host:10000进行访问，ui界面如下图

遇到的问题：

原因是mysql数据库默认为localhost主机进行访问，修改权限为'%'后解决。

原因是缺失mysql connector，添加connector到/lib目录下解决

penghaichao
关注
  • 8
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink standalone部署的dockerfile
04-26
flink 独立集群部署的dockerfile、dockercompose文件
Flink 集群部署模式.pdf
最新发布
04-26
flink 集群部署模式.pdf
ApacheStreamPark2.1.0部署及执行flink-cdc任务同步mysql表的数据到es的实践
qq_34905631的博客
06-15 4566
特性中的简单易用和文档详尽这两点我也是深有体会的，部署一点都不简单，照着官方文档都不一定能搞出来，下面部署环节慢慢来吐槽吧。到此我的分享就结束了，在实践的过程中也遇到了很多的问题，同时在解决问题的过程中也有很多的收获，也结识了一些大佬，在和大佬交流的过程中也得到了一些启发和学到了一些东西，希望我的分享能给你带来帮助，请一键三连，么么哒！
StreamPark部署（DockerCompose）
千载春秋书风华的博客
12-13 479
下载mysql-connector-j-8.0.31.jar至同目录。在同目录下新建docker-compose.yaml。文档操作目录: /data/streampark。执行docker compose up -d。在同目录下新建dockerfile。
streampark docker 部署
weixin_67336776的博客
08-25 546
streampark数据流平台docker和docker-compose部署
流计算开发平台StreamPark安装
Tinwares的博客
02-28 2626
StreamPark（原StreamX）是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架，未来将支持更多其他引擎。同时，StreamPark 提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等。官方网站：https://streampark.apache.org。
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
weixin_53543905的博客
12-18 3037
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
Streampark集成Cloudera Flink、ldap、告警，以及部署常见问题
Zhanghao149的博客
03-06 2777
Streampark适配Cloudera版本Flink，并针对常见的一些部署与使用问题提供解决方案
Flink高可用集群部署
10-09
系统版本：centos 7.2 java版本: jdk 1.8.0_161 zookeeper版本: zookeeper-3.4.9 hadoop版本： Hadoop-2.8.3.tar.gz flink版本： flink-1.4.0
flink介绍及安装部署
02-07
包括fink简介，fink安装部署等。
大数据-flink和streamx部署
02-08
4. 初始化Flink：部署和启动Flink集群，这是StreamX运行的基础。 5. 启动StreamX：通过命令行或者Web界面启动StreamX服务，它将管理和调度Flink作业。 6. 部署和运行作业：使用StreamX提供的图形化界面或API提交...
FLINK 与翼flink-StreamPark实例
qq_18379607的博客
12-25 286
FLINK 与翼flink-StreamPark实例 介绍 ​ Flink是一个大数据流处理引擎，可以为不同行业提供实时大数据处理解决方案。随着Flink的快速发展和改进，世界各地的许多公司现在都能看到它的存在。目前，北美、欧洲和金砖国家都是全球Flink应用的热门地区。当然，Flink在中国的知名度特别高，部分原因是一些互联网大厂的贡献和引领效应，也符合中国的反应与场景密切相关。想象一下，在中国，一个网站可能需要面对数以亿计的日活跃用户和每秒数亿的计算峰值，这对许多外国公司来说是难以想象的。Flink为
StreamPark生产集群搭建
Brother_ning的博客
12-22 1283
StreamPark管理平台管理flink任务，做权限隔离，支持flink一站式管理
StreamPark实时运维平台(Docker部署)
千载春秋书风华的博客
11-26 533
由于官方的镜像在国内拉取不到，本次以二进制包的方式进行部署。
Flink 一站式计算平台 StreamPark 2.0.0 重磅发布，首个 Apache 版本终于来了
u013620245的博客
02-21 3788
Apache StreamPark 2.0.0 正式发布, 这是 StreamPark 加入 Apache 孵化器以来发布的第一个版本，也是一个重大功能更新的版本, 有超过 100 位 Contributor 贡献了超过 700 个 Pull Request，带来了诸多的新特性和改进修复. 欢迎大家下载使用
Flink on K8S集群搭建及StreamPark平台安装
Brother_ning的博客
12-26 1796
Flink on K8S集群搭建及StreamPark平台安装，在k8s集群中安装StreamPark平台，并管理flink任务
scala的flink程序遇到的bug
weixin_46609492的博客
01-18 1520
Exception in thread “main” java.lang.NoClassDefFoundError 运行那个类就就进行编辑那个类
StreamX 使用手册 - 安装部署篇
u013620245的博客
04-11 6366
StreamX 的初衷是让流处理更简单, 可能你还没遇到她, 也许第一眼就命中注定的恋爱了, 来, 让我们一块走进 StreamX 的世界! 这会是一个系列的文章, 为你详细讲述关于 StreamX 的故事。
flink分布式部署
07-27
Flink是一个开源的流处理和批处理框架，支持分布式部署。下面是Flink分布式部署的一般步骤： 1. 确保你有一个Flink集群：Flink需要在一个或多个计算机上运行，形成一个集群。你可以在每台计算机上安装Flink，也可以使用现有的集群管理器（如Apache Mesos、Hadoop YARN或Kubernetes）来管理Flink集群。 2. 配置Flink集群：在每台计算机上，你需要配置Flink集群的相关参数。主要的配置文件是`flink-conf.yaml`，其中包含了一些关键的配置项，如任务管理器的数量、内存分配等。你可以根据需要进行相应的配置。 3. 启动Flink集群：在每台计算机上启动Flink集群的组件，包括任务管理器（TaskManager）和作业管理器（JobManager）。作业管理器负责接收作业提交请求，并将作业分发给任务管理器执行。 4. 提交作业：使用Flink提供的客户端工具或API，将你的Flink作业提交到Flink集群中执行。你可以通过命令行工具`flink run`或使用Flink的REST API来提交作业。 5. 监控和管理：一旦作业提交成功，你可以使用Flink的Web界面或命令行工具来监控作业的执行情况。你可以查看作业的状态、任务的指标和日志等信息，也可以进行作业的管理操作，如取消、重新启动等。 以上是Flink分布式部署的一般步骤，具体的操作细节可能会有所不同，取决于你选择的集群管理器和部署环境。你可以参考Flink官方文档中的相关章节，了解更多详细信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值