项目上线流程-实时Flink

已于 2022-02-28 19:41:20 修改
阅读量1.4k 收藏 2
点赞数 2
文章标签： flink intellij-idea java
于 2022-02-24 10:37:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42009405/article/details/123105918
版权

代码

  1. 在idea中拉取公司git中实时相关的项目

  2. 切换项目环境为本地环境，每个环境有不同的配置文件
    在这里插入图片描述
    在这里插入图片描述

  3. 在idea中编写java/scala代码

运行

  1. 在本地环境下运行代码，通过netcat工具通过socket传输数据
    在这里插入图片描述

  2. 如果本地自测没有问题，切换项目配置文件为test环境，然后把项目打jar包，上传到阿里云全托管Flink上，然后进行提交任务
    在这里插入图片描述

  3. 测试环境跑一天，如果没问题就切换成生产环境。切换项目配置文件为prod环境，然后把项目打jar包，上传到阿里云全托管Flink上，然后进行提交任务。
    在这里插入图片描述
    在这里插入图片描述

运维

可以在运维界面看整体项目的情况
在这里插入图片描述

今天好好洗头了嘛
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
4个步骤让 Flink 应用程序达到生产状态
SmartSi
09-03 166
Flink 的 KeyedState 是由 key group 进行组织，然后分发到 Flink 算子的各个并发实例上。这是分发的最小原子单元，因此也会影响 Flink 应用程序的可伸缩性。作业的每个算子的 key group 个数只能设置一次，可以手动配置或者直接使用默认配置。默认值粗略地使用，下限 128，上限 32768。可以通过手动地为每个作业或算子设置最大并发度。上线的任何作业都应该指定最大并发度。但是，一定要仔细考虑这个值的大小。因为一旦设置了最大并发度，就无法在以后更新。
轻装上阵Flink--在IDEA上开发基于Flink的实时数据流程序
zhouqinxiong的专栏
03-16 699
前言 本文介绍如何在IDEA上快速开发基于Flink框架的DataStream程序。先直接上手！ 环境清单 案例是在win7运行。安装VirtualBox，在VirtualBox上安装Centos操作系统。所有资源都在百度云上，有需要请直接下载。安装教程基本都是傻瓜式，文章不做讲述，有需要直接网上搜索。 资源 版本 VirtualBox 5.2.16...
实时计算Flink > 快速入门 —— 步骤三：数据开发，作业上线
weixin_34245749的博客
11-14 459
本页目录 新建作业 开发储存 用RDS为数据的维表或结果表 编写业务逻辑的SQL 作业调试StreamSQL 作业上线 说明： 实时计算 Flink按照标准的阿里云产品规格提供账号信息支持,即一个项目隶属于一个项目所有者，多人协作模型必须使用主子账号完成。 完成数据采集工作后，您可以专注于StreamSQL的编写工作。为方便您熟悉实时计算，我们在...
Apache Flink之程序的部署【章节二】
路飞
03-11 412
程序部署 在Flink中多中操作方式对编写好的程序进行部署,下面对各种部署方式的介绍 本地执⾏ //1.创建流计算执⾏环境 val env = StreamExecutionEnvironment.createLocalEnvironment(3) //2.创建DataStream val text = env.socketTextStream("CentOS", 9999) //3.执⾏D...
flink打包运行
cobracanary的博客
04-30 5788
一个简单的flink打包运行的demo 第一步：环境准备 首先你要有个flink运行环境，我这里是使用虚拟机搭建的单机模式，启动flink，在8081端口就可以看见flink UI，在这里就可以进行flink作业的管理： 第二步：flink代码的编写 我使用flink SQL编写的代码，代码很简单，使用SQL读入kafka中一个topic的消息，写入另一个kafka topic中： package com.ms.flinksql; import org.apache.flink.table.api..
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
Flink实时数仓课程（艺人直播项目）
10-12
Flink实时数仓项目课程（艺人直播项目），视频+源码+文档下载
艺人直播-Flink实时数仓
10-11
基于“艺人直播平台”业务背景的flink实时数据分析（实时数仓）项目，基于主流的实时数据分析系统技术架构实现，内含各类直播平台实时数据分析需求场景，各种flink技能点实战（含源码级修改），是巩固flink技能，...
doris-flink-connector
03-25
<flink.version>1.13.5</flink.version> <libthrift.version>0.13.0 <arrow.version>5.0.0 <maven-compiler-plugin.version>3.8.1</maven-compiler-plugin.version> <maven-javadoc-plugin.version>3.3.0...
【Flink】从开发到生产上线，如何确定集群规划大小 ?
九师兄
07-29 1133
在Flink社区中，最常被问到的问题之一是在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”，但这并非一个有用的答案。本文概述了一系列的相关问题，通过回答这些问题，或许你能得出一些数字作为指导和参考。...
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4309
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
Flink上线运行job应该考虑的事情
Baron_ND的博客
09-14 420
本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中，我们概述了重要的配置参数，这些参数是技术领导、DevOps、工程师们在将 Flink 应用程序上线生产之前都需要仔细考虑的。Apache Flink 为大多数配置都提供了开箱即用的默认选项，在许多情况下，它们是POC阶段（概念验证）或探索 Flink 不同 API 和抽象的很好的起点。 然而，将 Flink 应用程序投入生产还需要额外的配置，这些配置可以高效地调整应用的规模，使其达到生产就绪状态，并能与不同系统之间保持兼容，
Flink入门之Standalone模式集群伪分布式搭建
吟啸徐行
03-22 4605
  1：首先配置Java相关环境以及Flink下载，解压就不说了。 2：接下来看看Flink的conf的配置文件：                                                   这里面需要我们配置的有：slaves和flink-conf.yaml文件，这里面masters文件是用来配置HA的，只要我们不配置HA的话，就不需要配置masters文件（fl...
Flink SQL CDC 上线！我们总结了 13 条生产实践经验
热门推荐
Ververica的博客
09-04 1万+
摘要：7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使...
大数据培训-Flink面试知识分享
weixin_45695430的博客
03-29 925
以下文章来源于大数据左右手 ，作者左右 一. Flink 提交系列 1. Flink怎么提交? Local模式 JobManager 和 TaskManager 共用一个 JVM,只需要jdk支持，单节点运行，主要用来调试。 Standlone模式 Standlone 是Flink自带的一个分布式集群，它不依赖其他的资源调度框架、不依赖yarn 等。充当Master角色的是JobManager。充当Slave/Worker角色是TaskManager Yarn 模式 2. Fl.
外部表读取速度_如何读取，写入和修改 Flink 应用程序的状态
weixin_39948247的博客
12-17 143
更多大数据架构、实战经验，欢迎关注【大数据每日哔哔】，期待与你一起成长！本文主要介绍 Flink 的状态管理，非常实用。过去无论是在生产中使用，还是调研 Apache Flink，总会遇到一个问题：如何访问和更新 Flink 保存点(savepoint)中保存的 state？Apache Flink 1.9 引入了状态处理器(State Processor)API，它是基于 DataSet API...
如何读取，写入和修改 Flink 应用程序的状态
大数据基础入门教程
03-11 1878
如何读取，写入和修改 Flink 应用程序的状态 本文主要介绍 Flink 的状态管理，非常实用。 过去无论是在生产中使用，还是调研 Apache Flink，总会遇到一个问题：如何访问和更新 Flink 保存点（savepoint）中保存的 state？Apache Flink 1.9 引入了状态处理器（State Processor）API，它是基于 DataSet API 的强大扩展，允...
如何实时监控 Flink 集群和作业？
http://www.54tianzhisheng.cn/
05-07 208
点击上方“zhisheng”，选择“设为星标”回复”666“获取新整理的资料Flink 相关的组件和作业的稳定性通常是比较关键的，所以得需要对它们进行监控，如果有异常，则需要及时告警通知...
docker-compose flink部署
最新发布
08-27
要使用docker-compose部署Flink，您可以参考以下步骤： 1. 首先，确保您已经安装了Docker和docker-compose。您可以根据引用和引用中提供的链接和指南来安装它们。 2. 创建一个名为docker-compose.yml的文件，并在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值