30分钟掌握沧湖一体化：flink+hudi（干货，建议收藏）_flink hudi sink

于 2024-05-12 20:50:26 发布
阅读量301 收藏 5
点赞数 5
分类专栏： 程序员 文章标签： 网络安全 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84254418/article/details/138766868
版权

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。

最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。

最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

4.0.0
​
   org.example
   flink_hudi_test
   1.0-SNAPSHOT
​
   
       <maven.compiler.source>8</maven.compiler.source>
       <maven.compiler.target>8</maven.compiler.target>
   
​
   
​
​
       
           org.apache.hadoop
           hadoop-client
           2.9.2
       
       
           org.apache.hadoop
           hadoop-hdfs
           2.9.2
       
       
           org.apache.hadoop
           hadoop-common
           2.9.2
       
​
​
       
           org.apache.flink
           flink-core
           1.12.2
       
       
           org.apache.flink
           flink-streaming-java_2.11
           1.12.2
       
​
       
       
       
       
       
       
           org.apache.flink
           flink-connector-jdbc_2.11
           1.12.2
       
​
       
           org.apache.flink
           flink-java
           1.12.2
       
       
           org.apache.flink
           flink-clients_2.11
           1.12.2
       
       
           org.apache.flink
           flink-table-api-java-bridge_2.11
           1.12.2
       
       
           org.apache.flink
           flink-table-common
           1.12.2
       
​
       
           org.apache.flink
           flink-table-planner_2.11
           1.12.2
       
​
       
           org.apache.flink
           flink-table-planner-blink_2.11
           1.12.2
       
       
           org.apache.flink
           flink-table-planner-blink_2.11
           1.12.2
           test-jar
       
​
       
           com.alibaba.ververica
           flink-connector-mysql-cdc
           1.2.0
       
​
​

​

​
​
       
           org.apache.hudi
           hudi-flink-bundle_2.11
           0.9.0
       
​
       
           mysql
           mysql-connector-java
           5.1.49
       
​
​
   


我们通过构建查询`insert into t2 select replace(uuid(),'-',''),id,name,description,now() from mysql_binlog` 将创建的mysql表，插入到hudi里。

package name.lijiaqi;
​
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
​
public class MysqlToHudiExample {
   public static void main(String[] args) throws Exception {
       EnvironmentSettings fsSettings = EnvironmentSettings.newInstance()
              .useBlinkPlanner()
              .inStreamingMode()
              .build();
       StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
       env.setParallelism(1);
       StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, fsSettings);
​
       tableEnv.getConfig().setSqlDialect(SqlDialect.DEFAULT);
​
       // 数据源表
       String sourceDDL =
               “CREATE TABLE mysql_binlog (\n” +
                       " id INT NOT NULL,\n" +
                       " name STRING,\n" +
                       " description STRING\n" +
                       “) WITH (\n” +
                       " ‘connector’ = ‘jdbc’,\n" +
                       " ‘url’ = ‘jdbc:mysql://127.0.0.1:3306/test’, \n"+
                       " ‘driver’ = ‘com.mysql.jdbc.Driver’, \n"+
                       " ‘username’ = ‘root’,\n" +
                       " ‘password’ = ‘dafei1288’, \n" +
                       " ‘table-name’ = ‘test_cdc’\n" +
                       “)”;
​
       // 输出目标表
       String sinkDDL =
               “CREATE TABLE t2(\n” +
                       “\tuuid VARCHAR(20),\n”+
                       “\tid INT NOT NULL,\n” +
                       “\tname VARCHAR(40),\n” +
                       “\tdescription VARCHAR(40),\n” +
                       “\tts TIMESTAMP(3)\n”+
//                       “\tpartition VARCHAR(20)\n” +
                       “)\n” +
//                       “PARTITIONED BY (partition)\n” +
                       “WITH (\n” +
                       “\t’connector’ = ‘hudi’,\n” +
                       “\t’path’ = ‘hdfs://172.19.28.4:9000/hudi_t4/’,\n” +
                       “\t’table.type’ = ‘MERGE_ON_READ’\n” +
                       “)” ;
       // 简单的聚合处理
       String transformSQL =
               “insert into t2 select replace(uuid(),‘-’,‘’),id,name,description,now() from mysql_binlog”;
​
       tableEnv.executeSql(sourceDDL);
       tableEnv.executeSql(sinkDDL);
       TableResult result = tableEnv.executeSql(transformSQL);
       result.print();
​
       env.execute(“mysql-to-hudi”);
  }
}


查询hudi

package name.lijiaqi;
​
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.SqlDialect;
import org.apache.flink.table.api.TableResult;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
​
public class ReadHudi {
   public static void main(String[] args) throws Exception {
       EnvironmentSettings fsSettings = EnvironmentSettings.newInstance()
              .useBlinkPlanner()
              .inStreamingMode()
              .build();
       StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
       env.setParallelism(1);
       StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, fsSettings);
​
       tableEnv.getConfig().setSqlDialect(SqlDialect.DEFAULT);
​
       String sourceDDL =
               “CREATE TABLE t2(\n” +
                       “\tuuid VARCHAR(20),\n”+
                       “\tid INT NOT NULL,\n” +
                       “\tname VARCHAR(40),\n” +
                       “\tdescription VARCHAR(40),\n” +
                       “\tts TIMESTAMP(3)\n”+
//                       “\tpartition VARCHAR(20)\n” +
                       “)\n” +
//                       “PARTITIONED BY (partition)\n” +
                       “WITH (\n” +
                       “\t’connector’ = ‘hudi’,\n” +
                       “\t’path’ = ‘hdfs://172.19.28.4:9000/hudi_t4/’,\n” +
                       “\t’table.type’ = ‘MERGE_ON_READ’\n” +
                       “)” ;
       tableEnv.executeSql(sourceDDL);
       TableResult result2 = tableEnv.executeSql(“select * from t2”);
       result2.print();
​
       env.execute(“read_hudi”);
  }
}


展示结果



![](https://img-blog.csdnimg.cn/2021092200295990.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6bqS5oCd5aaZ5oOz,size_20,color_FFFFFF,t_70,g_se,x_16)


 




## Flink CDC 2.0 on Hudi


### 添加依赖


添加如下依赖到$FLINK\_HOME/lib下


* hudi-flink-bundle\_2.11-0.10.0-SNAPSHOT.jar (修改 Master 分支的 Hudi Flink 版本为 1.13.2 然后构建)
* hadoop-mapreduce-client-core-2.7.3.jar (解决 Hudi ClassNotFoundException)
* flink-sql-connector-mysql-cdc-2.0.0.jar
* flink-format-changelog-json-2.0.0.jar
* flink-sql-connector-kafka\_2.11-1.13.2.jar


**注意，在寻找jar的时候，`cdc 2.0` 更新过`group id` ，不再试 `com.alibaba.ververica` 而是改成了 `com.ververica`** 



### flink sql cdc on hudi


创建mysql cdc表

CREATE  TABLE mysql_users (
id BIGINT PRIMARY KEY NOT ENFORCED ,
name STRING,
birthday TIMESTAMP(3),
ts TIMESTAMP(3)
) WITH (
‘connector’ = ‘mysql-cdc’,
‘hostname’ = ‘localhost’,
‘port’ = ‘3306’,
‘username’ = ‘root’,
‘password’ = ‘dafei1288’,
‘server-time-zone’ = ‘Asia/Shanghai’,
‘database-name’ = ‘test’,
‘table-name’ = ‘users’  
);


创建hudi表

CREATE TABLE hudi_users5(
id BIGINT PRIMARY KEY NOT ENFORCED,
  name STRING,
  birthday TIMESTAMP(3),
  ts TIMESTAMP(3),
   partition VARCHAR(20)
) PARTITIONED BY (partition) WITH (
   ‘connector’ = ‘hudi’,
   ‘table.type’ = ‘MERGE_ON_READ’,
   ‘path’ = ‘hdfs://localhost:9009/hudi/hudi_users5’
);
​


修改配置，让查询模式输出为表，设置checkpoint



> 
> set execution.result-mode=tableau;
> 
> 
> set execution.checkpointing.interval=10sec;
> 
> 
> 


进行输入导入



> 
> INSERT INTO hudi\_users5(id,name,birthday,ts, `partition`) SELECT id,name,birthday,ts,DATE\_FORMAT(birthday, 'yyyyMMdd') FROM mysql\_users;
> 
> 
> 


查询数据



> 
> select \* from hudi\_users5;
> 
> 
> 


执行结果


![](https://img-blog.csdnimg.cn/20210922002906251.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6bqS5oCd5aaZ5oOz,size_20,color_FFFFFF,t_70,g_se,x_16)


## 学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/7a04c5d629f1415a9e35662316578e07.png#pic_center)





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2401_84254418
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink +hudi+presto 流程图.docx
04-29
Flink +hudi+presto 流程图.docx 自己实现后画的一个流程图，便于理解
基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程（2021新课）
11-03
给大家分享一套课程——基于Flink+Hudi构建企业万亿级云上实时数据湖视频教程（2021新课）本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求...
Qt：windows下Qt安装教程
hw5230的博客
06-02 3380
对于 MinGW-w64 项目，它对应的小型系统环境叫 MSYS2（Minimal SYStem 2），MSYS2 是 MSYS 的衍生版，不仅支持 64 位系统和 32 位系统，还有自己的独特的软件包管理工具，它从 Arch Linux 系统里移植了 pacman 软件管理工具，所以装了 MSYS2 之后，可以直接通过 pacman 来下载安装软件，而且可以自动解决依赖关系、方便系统升级等。如何找到 Qt 软件的下载地址呢？只要前面两个数字相同，Qt 的特性就是一致的，最后的数字是对该版本的补丁更新。
Qt下载安装及配置教程(非常详细)，从零基础入门到精通，看完这一篇就够了
热门推荐
Python_0011的博客
07-13 12万+
进入qt中文网站：https://www.qt.io/zh-cn/ 下载开源版 往下滑，下载Qt在线安装程序 它已经检测出我的是windows系统，直接点击download就好。如果是其它的系统，需要找到对应自己系统的安装包。 然后跟网速有关，等一会就会自动下载 等待下载完成，双击.exe文件，就可以进行安装。 首先就是登录qt账户，如果没有可以自行注册一个。然后选择个人用户，之后点击下一步进行安装。 如果期间有报出现网络错误，请参考我本篇文章：https://blog.csdn.net/changyana
【Qt5.12】Qt5.12安装教程[通俗易懂]
hw5230的博客
06-02 7893
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/145444.html原文链接：https://javaforall.cn。Step1: 双击安装包, 稍等片刻, 然后点击next。Step2: 如果没有账号, 则选择skip。Step3: Qt设置欢迎界面, 选择下一步。Step6: 同意许可协议, 然后选择下一步。Step5: 选择组件, 然后选择下一步。Step2: 选择Qt控件项目。Step4: 选择安装路径。Step9: 选择下一步。Step4: 选择Kit。
QT的安装 [新版2022]
飞浪纪元FE的博客
10-27 4476
最近QT发布了6版本，5.x版本依然坚挺，官方也给出了LTS的标识，类似Unity，作为长期支持版的意思。 安装方式变得简单，只需要一个账号，可以在线自动安装和下载所需要的版本。
如何在本地安装部署WinSCP，并实现公网远程本地服务器
最新发布
qq_63320529的博客
11-27 759
如何在本地安装部署WinSCP，并实现公网远程本地服务器。
基于Flink + Hudi + JuiceFS的实时数据湖方案.png
11-11
基于Flink + Hudi + JuiceFS的实时数据湖方案
大数据三剑合一：Flink + Zeppelin + Airflow-Flink Forward Asia 2021.pdf
04-29
大数据三剑合一：Flink + Zeppelin + Airflow-Flink Forward Asia 2021
威胁情报平台OpenCTI搭建教程
流浪法师的博客
04-01 6059
OpenCTI是一个开源平台，允许组织管理他们的网络威胁情报知识和观察结果。它的创建是为了结构化、存储、组织和可视化关于网络威胁的技术和非技术信息。
微信小程序反编译工具
03-07
1.安装node 和 Microsoft VS Code 2.观看 wxapkg\小程序反编译全套\视频教程-解包流程 教学视屏 3.是否有分包处理方式不同，经过测试，目前还没有不能反编译的小程序 4.即使小程序有N个分包也能反编译，工具包里自带典型小程序 5.获取 wxapkg 包请百度，通用的做法是：安装 夜神模拟器 -> 安装微信 -> 打开小程序 -> 打开文件管理器(自带) -> 进入目录:/data/data/com.tencent.mm/MicroMsg/uuid/appbrand/pkg/xxx.wxapkg 6.如果小程序有分包，请在小程序中点击N多菜单
面试宝典Python 391页.pdf
07-04
面试宝典Python 391页.pdf
Python 爬虫面试题 170 道：2019 版
qq_33570092的博客
06-10 1088
引言最近在刷面试题,所以需要看大量的 Python 相关的面试题，从大量的题目中总结了很多的知识，同时也对一些题目进行拓展了，但是在看了网上的大部分面试题不是很满意，一个...
17.JAVA之三大框架Maven、Springboot、SpringMVC
weixin_56027329的博客
05-06 1588
JAVA之三大框架Maven(eclipse和idea配置)、Springboot(eclipse和idea配置)、SpringMVC
java主流框架
qq_47360019的博客
10-15 2792
java主流框架
PbootCMS V1.3.8 发布，PHP免费建站系统
cpongo5
04-12 289
开发四年只会写业务代码，分布式高并发都不会还做程序员？ >>> 更新日志： 1、新增同时支持f...
python 面试宝典
muhan的博客
08-14 211
自我介绍说什么？ 个人信息 你好，我叫xxx，毕业于 xxx，所学专业是xxx 掌握的技术，参与过的项目 之前就职于xxx公司，担任后端工程师，负责xxx项目，对xxx技术比较熟悉 应聘的岗位，表达对该岗位的看法和兴趣 我的工作经验和目前这个岗位较为匹配，希望能够应聘到这个岗位… STAR模型 情景 什么情况下发生 任务 你是如何明确你的任务的 行动 采取了什么样...
虚拟机安装centos7
xiao_yu_gan的博客
04-07 1万+
1、简介 这里虚拟机采用VMware15.1.0，镜像采用CentOS7版本，官网或国内镜像可直接下载。 2、安装流程 1、打开vmware软件，点击 创建新的虚拟机。 2、选择 典型，点击 下一步。 3、选择 稍后安装操作系统。 4、选择 Linux，版本选择 CentOS 7 64位。 5、填写自己的虚拟机名称，选择安装的位置。 6、指定磁盘的大小。 7、点击 自定义硬件。 8、根据实际情况设置合适的内存。 9、选择对应的ISO映像文件。 10、设置合适的网络连接模式，这里选择NAT模
flink+mysql+connector_Flink SQL中connector的定义和实现
05-25
在 Flink 中，Connector 是指用于与外部系统进行数据交互的组件。Connector 可以与各种外部系统进行交互，例如数据库、消息队列、文件系统等。Connector 的实现通常包括两个部分：Source 和 Sink。 在 Flink SQL 中，Connector 的定义和实现通常需要通过以下方式： 1. 导入相关依赖库：在 Flink SQL 中，需要导入对应的 Connector 的相关依赖库，例如 flink-connector-jdbc、flink-connector-kafka、flink-connector-hive 等。 2. 创建 Source 和 Sink：创建对应的 Source 和 Sink 组件，并实现相关的接口。例如，如果需要读取从 MySQL 数据库中的数据，需要创建对应的 MySQLSource，并实现 Source 接口。 3. 配置 Connector：对于每个 Connector，都需要进行相应的配置，包括连接信息、数据格式、数据读取方式等。例如，对于 MySQLSource，需要配置 MySQL 的连接信息、表名、字段名等。 4. 注册 Connector：将创建好的 Connector 注册到 Flink 中，以便在 SQL 查询中使用。可以通过 Flink 的 TableEnvironment 注册 Connector。 5. 在 SQL 查询中使用 Connector：使用 Flink SQL 编写查询语句，通过 FROM 子句指定使用的 Connector，并通过 SELECT 子句定义需要查询的数据。例如： ``` SELECT name, age, gender FROM MyTable, MySQLSource WHERE MyTable.id = MySQLSource.id; ``` 上述 SQL 查询中使用了 MyTable 和 MySQLSource 两个 Connector，其中 MyTable 是 Flink 内部的 Table，MySQLSource 是自定义的 Connector。 总之，Flink SQL 中的 Connector 提供了一种便捷的方式，可以方便地与外部系统进行数据交互，并且可以通过 SQL 查询语句实现复杂的数据处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值