dudu146863的博客

Flink CDC + Hudi实践一、依赖关系1、Maven依赖2、SQL客户端JAR二、设置MySQL服务器1、创建MySQL用户：2、向用户授予所需的权限：3、最终确定用户的权限：三、注意1、MySQL CDC源代码如何工作2、向MySQL用户授予RELOAD权限3、全局读取锁（FLUSH TABLES WITH READ LOCK）4、为每个作业设置一个differnet SERVER ID5、扫描数据库表期间无法执行检查点6、设置MySQL会

一. 启动kafka生产者造数据二. 使用Flink connector kafka 映射kafka topic三. 使用 hudi connector 创建hudi表四. 将kafka表的数据写入到hudi表中五. 查询hudi表数据六. 在kafka的producer的发送数据,然后在客户端进行hudi表数据查询,发现数据都过来了.七. 在FlinkSQL客户端直接进行表关联7.1 启动kafka生活者,生产数据7.2 在Flink SQL客户端创建对应的映射表7.3

目录一、组件下载二、Batch模式实施步骤：2.1 启动flink-sql客户端2.2 创建表2.3插入数据2.4 根据主键更新数据三、stream模式实现步骤：3.1 创建表3.2从批模式写入一条数据3.3隔几秒后在流模式可以读取到一条新增的数据四.Hive 同步4.1 hudi编译：4.2. Hive 环境准备1.启动hive元数据2.在 Hive 服务器导入 Hudi 包4.3. Hive 配置模版3.1源表的建表语句:3.1..