常用的Flink Rest API接口使用

最新推荐文章于 2024-08-16 09:18:27 发布
最新推荐文章于 2024-08-16 09:18:27 发布
阅读量1.4w 收藏 27
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41062002/article/details/106398295
版权
本文详细介绍了如何使用Flink的Rest API进行操作，包括上传jar包、获取项目id、运行程序、删除和取消job、查看所有job以及job的详细信息和checkpoints。通过具体的HTTP请求路径、方式和参数示例，提供了清晰的操作步骤。
摘要由CSDN通过智能技术生成

官方Flink Rest API文档

https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html

Flink接口调用地址

用户可以通过flink提供的Rest API管理应用。Rest API可供用户或脚本直接访问，它可以对外公开有关Flink集群和应用的信息。flink使用Web服务器来同时支持Rest API和Web UI，该服务器会作为Dispatcher进程的一部分（Dispatcher启动JobManager）来运行。默认情况下二者都会使用8081端口。我们可以通过./conf/flink-conf.yaml来设置web服务器的ip和端口：rest.address，rest.port，同时为了避免我们提交的项目在每次集群启动时被删掉，我们需要配置项目的固定存储地址web.upload.dir，这样我们通过web提交的项目就会被保存到这个位置，如果不配置该地址，提交的项目会被放到临时文件中去，集群重启就会被删掉，很不方便（我会单出一篇文章追溯上传的项目到底被保存到哪个位置）。如下图所示：

上传jar包

  • 请求路径：htt
最低0.47元/天 解锁文章
打水花
关注
Flink on yarn 的restful api 简单备份实践
qq_31866793的博客
01-15 2656
业务需求： 通过yarn的restful api简单的对提交到yarn的flink任务进行运行状态预警监控。 官方文档地址： Apache Hadoop 3.2.2 – ResourceManager REST APIs. yarn的restful api： 1， 2， 3， 4， 5， 6， ...
Flink使用RestApi
jeseva的博客
08-05 5139
flink是一个非常好用的流任务计算框架, 这次我们来试用flink的restApi来提交任务. 1, 上传jar包 public static boolean uploadJar( File jarFile) { RequestBody requestBody = new MultipartBody.Builder() .setType(MultipartBody.FORM) .addFormDataPart("fil
Flink HTTP Connector 使用教程
最新发布
gitblog_00762的博客
08-16 611
Flink HTTP Connector 使用教程 flink-http-connectorHttp Connector for Apache Flink. Provides sources and sinks for Datastream , Table and SQL APIs. 项目地址:https://gitcode.com/gh_mirrors/fl/flink-http-conne...
Flink restful API demo
文报的博客
10-14 4518
主要解决用flink的restful API 来启动和停止yarn上的flink任务github地址:https://github.com/wenbaoup/flink-restful-demo package com.wenbao.flink.restful.flink; import com.alibaba.fastjson.JSONObject; import org.apache.h...
【Flink Rest-ful API 】
追赶者的博客
03-31 1485
Flink 有了一些查询job状态指标的API,这些监控API is a REST-ful API 接受 HTTP 请求并返回JSON data ；这些监控API以jobManager中web server 为基础，默认其监听端口为8081，当然你可以在flink-conf.yaml配置中通过rest.port 自定义其端口，下面我们就对其REST-ful API 进行尝试。 一：Flink 上传jar包REST-ful API PO...
Flink 自定义sink 向 Restful 风格接口发送数据
zx711166的博客
12-30 1464
Flink 自定义sink 向 Restful 风格接口发送数据添加依赖构建RestfullSink参数实例构建自定义RabbitMQSink 添加依赖 <dependency> <groupId>commons-httpclient</groupId> <artifactId>commons-httpclient</artifactId> <version>3.1</version> </dependency&
Flink Rest API使用
热门推荐
qq_27710549的博客
05-29 1万+
Flink Rest API使用 ---------------- ### 1. 上传jar包接口 - 请求路径 - http://hadoop3.test.yunwei.puppet.dh:40610/jars/upload - 请求方式 - POST - 请求参数 - 设置请求头 application/java-archive - 返回结果 ...
Flink 通过 REST API 获取实时 task metric 汇总统计信息
yuchuanchen的专栏
03-11 9907
#Flink 通过 REST API 获取实时 task metric 汇总统计信息 运行 flink 程序时会经常需要查看当前程序的运行状况，flink 提供了 UI 界面，有比较详细的统计信息。但是 UI 界面也有不完善的地方，比如想要获取 flink 的实时吞吐。本文通过示例介绍通过 flink REST API 获取 flink 实时吞吐。 为了更简单的表示，以下的 REST API 请求...
Flink Rest Basic Auth - 安全认证
麦田里的守望者-蒋中洲【相信相信的力量】
06-04 776
背景 公司目前需要将Flink实时作业云化，构建多租户实时计算平台。目前考虑为了资源高效利用，并不打算为每个租户部署一套独立的Kubernetes集群。也就意味着多个租户的作业可能会运行在同一套kubernets集群中。此时实时作业的任务就变的很危险，因为网络可能是通的，就会存在危险的REST API暴露出去，被一些不坏好意的人利用，从而影响其他租户的作业。鉴于此考虑给Flink的作业添加一个认证方式，可以是Kerberos或者是Http 用户名密码Baisc认证。各种搜索和询问，最终发现了一些线索FLIP
RESTful-API-demo:RESTful API演示
05-02
使用express,MongoDb快速构建Node.js REST API () REST API解决了什么问题（能干什么？） 网络应用-重前端轻后端模式，后端专注于业务，提供前端数据接口。一套API给多客户端提供服务 Resetful API-设计更加规范的API RESTful(Representational State Transfer)-表现层状态转化 每一个URI代表一种资源。为所有“事物”定义ID 客户端和服务器之间，传递这种资源的某种表现层。 客户端通过四个HTTP动词（GET、POST、PUT、DELETE），对服务器端资源进行操作，实现"表现层状态转化"。 设计规范（怎么用？） ####1. 网址中不能有动词，只能有名词，所用的名词往往与数据库的表格名对应。 ####2. 对于资源的具体操作类型，由HTTP动词表示。 * GET: 从服务器取回一个资源 * POST:
【Flink】通过REST API监控正在运行的作业状态和统计信息
qq_43744420的博客
08-10 1967
通过REST API监控正在运行的作业状态和统计信息
Flink基础系列30-Table API和Flink SQL之API调用
只是甲的博客
11-04 605
文章目录一.基本程序结构二.创建表环境三.在 Catalog 中注册表3.1 表（Table）的概念3.2 连接到文件系统（Csv 格式）3.3 连接到 Kafka四. 表的查询4.1 Table API 的调用4.2 SQL 查询五. 将DataStream 转换成表5.1 代码表达5.2 数据类型与 Table schema 的对应六. 创建临时视图（Temporary View）七. 输出表7.1 输出到文件7.2 更新模式（Update Mode）7.3 输出到 Kafka7.4 输出到 Elast
Flink on Yarn 问题排查(rest.port与rest.bind-port 端口问题)
永青技术博客
04-04 5990
一、问题背景 最近在做行车数据实时分析，为了后续批流一体化的开发，前期先做技术铺垫。目前使用Flink作为批流一体切入方案。以下是基于yarn模式提交 flinksql job时出现端口冲突的问题 二、问题复述 1、我目前使用的是flink-1.12.0版本。配置文件如下 flink-conf.yaml master和worker配置 vi master bj-pan.com-04:11057 vi worker bj-pan.com-02 bj-pan.com-03...
flink DataStream API 官网整理-1.13
第一片心意的博客
10-10 1250
本博客基于 flink 1.13 官网中的 DataStream API 部分内容进行翻译整理。
Flink Metrics&REST API 介绍和原理解析
cloudbigdata的博客
05-06 2032
通过学习 Flink Metrics 和 REST 接口，了解 Flink 是如何完成监控的。
Flink部署——参数配置
京河小蚁的博客
06-25 3661
所有的配置都在conf/flink-conf.yaml里面设置，预计将是YAML 键值对格式的平面集合key: value。当 Flink 进程启动时，配置会被解析和评估。更改配置文件需要重新启动相关进程。开箱即用的配置将使用您的默认 Java 安装。如果要手动覆盖要使用的 Java 运行时，可以手动设置环境变量JAVA_HOME或配置键env.java.home。conf/flink-conf.yamlFLINK_CONF_DIR您可以通过定义环境变量来指定不同的配置目录位置。对于提供非会话部署的资源提供
Flink Configuration 配置文件的配置
半吊子Kyle的博客
05-02 1万+
Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup ｜ 默认配置 引流：FLINK 的命令 FLINK 的配置 Flink执行说明 对 FLINK 的运行命令做完整的介绍 参考文章： Flink Configuration - flink-conf.yaml 中的配置 Flink Memory Configuration - 内存配置 Flink Command-Line - 命令行中的配置 Flink Config
Flink 客户端操作命令及可视化工具
程序猿进阶
12-24 6994
Flink提供了丰富的客户端操作来提交任务和与任务进行交互。下面主要从Flink命令行、SQL Client和Web五个方面进行整理。在Flink安装目录的bin目录下可以看到flink和等文件，这些都是客户端操作的入口。
Apache Flink 1.5.1 REST API高危漏洞安全通告
首先，CVE-2020-17519允许攻击者通过恶意利用JobManager的REST接口和特定的目录跳转（../），实现对系统文件的任意读取。这一漏洞的利用需要两次URL编码，且该功能在Apache Flink 1.11.0版本后被引入，并在后续版本...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值