如何在 IDEA 中 Debug Flink 1.12 SQL Client 源码？

已于 2022-05-09 11:40:36 修改
阅读量674 收藏 1
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： nginx zookeeper apache spark linux
于 2020-12-29 08:41:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/111940185
版权
本文介绍了如何在IntelliJ IDEA中配置并以Debug模式启动Flink 1.12的SQL Client，以便理解其执行SQL到Flink集群的原理。主要步骤包括下载源码、设置启动参数、添加依赖、配置Flink环境和调试执行流程。
摘要由CSDN通过智能技术生成

点击上方 "zhisheng"关注, 星标或置顶一起成长

Flink 从入门到精通 系列文章

前言

此文章主要如何配置使能在idea 中debug模式启动flink sqlClient 客户端，通过执行flink sql debug源码查看flink解析sql提交任务到flink集群执行的原理。

了解sqlClient 代码 有以下好处：

改造 sqlClient 成为server端使之可以接收远端client服务传输的flink sql语句，并返回执行结果到远端client，从而有望可以实现flink开发平台。

主要软件如下：flink 1.12.0 hive 2.3.4 hadoop 2.7.2

主要步骤

下载flink1.12的源码

官网下载地址如下：

了解本专栏 订阅专栏 解锁全文
umi使用记录
水蓝针织
12-15 1527
1.umi是什么？ 他是“蚂蚁金服的底层前端框架” 他包含了路由、部署、测试等一些列功能的企业级的可扩展的前端底层框架 2.目录 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201215151623343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMTYxOTM1,size
如何在 IDEA 中 Debug Flink 1.12 SQL Client 源码？你学废了吗？
m0_53223758的博客
12-29 822
前言 此文章主要如何配置使能在idea 中debug模式启动flink sqlClient 客户端，通过执行flink sql debug源码查看flink解析sql提交任务到flink集群执行的原理。 了解sqlClient 代码 有以下好处： 改造 sqlClient 成为server端使之可以接收远端client服务传输的flink sql语句，并返回执行结果到远端client，从而有望可以实现flink开发平台。 主要软件如下：flink 1.12.0 hive 2.3.4 hadoop 2.7.2
【docker】构建nginx镜像反向代理tomcat
钱春华的专栏
12-04 619
今天学习构建nginx镜像文件，通过portainer docker-compose启动nginx和tomcat，实现用户请求的nginx所在的服务器进行转发到tomcat-ngx01或者tomcat-ngx02。效果如下图： Nginx实现负载均衡是通过配置nginx.conf来实现的，nginx.conf的全部内容如下： worker_processes 1; events { worker_connections 1024; } http { include mime
springboot中yml、yaml、properties加载顺序
莫道青天真无道，能逍遥时且逍遥！
06-13 6984
springboot中yml、yaml、properties加载顺序 加载顺序： yml --> yaml --> properties 通过查看 spring-boot-starter-parent 中： 最后生效的是properties中的配置 在一个普通的项目中，生成两个配置文件，一个yml有一个properties，分别设置两个不同的端口，启动项目： 可以看到最后起效的是properties中的配置。 ...
Windows下安装Hive
weixin_44179938的博客
06-03 4372
hive官网下载地址：https://archive.apache.org/dist/hive/hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/以hive-2.3.5为例1、下载apache-hive-2.3.5-src.tar.gz2、解压后，查看apache-hive-2.3.5-src/pom.xml文件​ 部分内容如下(line 141: 2.7.2
Hive dbutils SQLException: Method not supported
weixin_39133753的博客
02-15 1622
QueryRunner queryRunner = new QueryRunner(dataSource, true); 使用dbutils连接hive数据源时报错，SQLException: Method not supported。 我是因为new QueryRunner（dataSource，true）时没有将第二个参数设为true。 hive-jdbc对jdbc的一些方法不支持，所以是“Method not support”。 根据注释，“ if pmdKnownBroken is set to
Druid连接hive报错：java.sql.SQLException: Method not supported
weixin_43871547的博客
07-13 2447
CDH+Springboot+druid+hive报错method not supported
idea debug flink1.12 sqlClient 源码
m0_37592814的博客
12-21 1145
一、前言 此文章主要是在idea 中运行flink sqlClient 源码，通过提交运行flink sql debug源码查看sql提交流程，主要是为以后flink sql 平台化做理论基础。 flink 1.12.0 hive 2.3.4 hadoop 2.7.2 二、主要步骤 1.下载flink1.12的源码 官网下载地址如下：添加链接描述 ...
flink1.12 sql client测试笔录
weixin_42487460的博客
06-09 605
需求：一直使用代码提交的方式繁琐，上手较慢，期望能够像阿里blink以简单的sql方式提交代码实现实时处理，此处以flink自带的sql客户端进行测试和调试，简单demo作为笔录 kafka作为source源 单独建一个目录，将如下jar包上传 flink-json-1.12.0.jar flink-sql-connector-kafka_2.11-1.12.0.jar 启动flink bin/start-cluster.sh 启动sql-client bin/sql-client.sh.
基于flink1.12，使用java，flink sql的demo，包含Mylsql.zip
最新发布
03-23
描述"基于flink1.12，使用java，flink sql的demo，包含Mylsql"进一步确认了标题中的信息，即项目的核心是演示如何在Flink 1.12环境中利用Java和Flink SQL进行数据处理，并且与MySQL数据库有联系。 **Flink 1.12核心...
Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件（包含官方版本中缺少的cmd文件）hive）
08-20
Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件（包含官方版本中缺少的cmd文件），完美解决windows环境下配置hive时，找不到hive命令问题
umi request设定middleware
weixin_66886617的博客
04-07 1273
主思路 在app.tsx里设定，middlewares, requestInterceptors, responseInterceptors, errorHandler
Docker安装Hive与Windows安装Hive
积跬步，至千里。
06-27 2102
在Linux环境下，使用Docker安装Hive，以及在Windows环境下安装Hive。
警告:Request method 'POST' not supported
qq_32534441的博客
12-26 2万+
警告: Request method ‘POST’ not supported: 第一种情况：前台页面的表单在一些情况下没有指定POST方法： 后台方法在一定情况下需要指定POST方法： 因为在浏览器中输入网址访问资源都是通过GET方式;在FORM提交中，可以通过Method指定提交方式为GET或者POST，默认为GET提交。 第二种情况：前端参数类型与后台数据库中的存储类型不一致导致错误： 这种...
Java连接Hive踩坑血泪
m0_58554082的博客
06-03 2091
Java连接Hive踩坑血泪 java.sql.SQLException: Method not supported 今天突然接到一个需求：为部署在医院内部系统增加Hive连接方式，在一顿操作之后加上JDBC驱动以及hadoop-common依赖
HTTP请求报错：405 Request method ‘GET‘ not supported解决方法！！（终极整理）
good_good_xiu的博客
07-29 2万+
1.问题场景 在项目中发送ajax请求时，控制台提示如下错误信息： org.springframework.web.HttpRequestMethodNotSupportedException: Request method ‘GET’ not supported 2.异常解析 这个异常翻译过来就是http请求的方法映射异常，后面的详情信息说，该GET请求不被支持。 2.1异常原因 1.该请求路径存在，但是请求类型不为GET请求。 例如： 前端请求： //前端ajax发送请求 $.ajax({ url:
hive手工安装配置3.1.1
HouYing
12-20 2337
hive 安装过程： 1.修改主机名 hostnamectl set-hostname master 2，做IP和主机名的映射 vim /etc/hosts 192.168.31.27 master 3，关闭防火墙 systemctl stop firewalld.service 3，时间设置 查看当前时间 输入: date 查看服务器时间是否一致，若不一致则更改 更改时间...
解决Request method ‘GET‘ not supported的问题
热门推荐
那条大鱼的博客
11-10 8万+
首先这个错误很有可能是请求方式不正确引起的。springboot常见的请求方式有3种，分别是@RequestMapping，@GetMapping，@PostMapping，这三种注解分别是啥意思呢？下面简单介绍一下： ** @RequestMapping：这是个综合注解，没有指定请求方式，因此可以接收post，get，put，head等的一系列的请求方式 @GetMapping：这是get的请求方式，浏览器默认的就是这种请求方式，是@RequestMapping(method=RequestMethod
基于Flink 1.12与FlinkSQL实现ETL操作的演示示例
资源摘要信息: "flink-1.12-sql-demo" 是一个基于 Apache Flink 1.12 版本的演示项目，其核心内容是展示如何使用 Java 语言结合 Flink SQL 来实现数据流处理和 ETL（抽取、转换和加载）操作。该项目特别演示了 Flink...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值