Flink 实践教程-入门(10):Python作业的使用

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

教程链接:Flink 实践教程-入门(10):Python作业的使用 - 云+社区 - 腾讯云

本文将通过一个处理数据后存入 MySQL 的作业示例,为您详细介绍如何使用 PyFlink。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3],点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后,单击右上角【登录】即可登陆 MySQL 数据库。

创建 MySQL 表


Flink-Connector-Hive是一个Apache Flink(流处理框架)的插件,用于与Hive(分布式数据仓库)集成。版本`flink-connector-hive_3.1.2:pom:1.17.0`通常指代的是特定于Hive 3.1.2的Flink连接器,并且对应的是Flink库的某个特定版本(1.17.0)。如果您想下载这个依赖,您可以按照以下步骤操作: 1. **Maven下载**:如果您是在使用Maven构建项目,您可以在pom.xml文件中添加如下依赖: ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-hive_2.11</artifactId> <version>1.17.0</version> </dependency> ``` 请替换`2.11`部分为您的Scala版本,如果使用的是Java,则无需更改。 2. **Gradle下载**:对于Gradle用户,可以将上述Maven依赖转换为Gradle依赖: ```groovy implementation 'org.apache.flink:flink-connector-hive_2.11:1.17.0' ``` 同样,记得替换`2.11`为正确的Scala版本。 3. **从中央仓库下载**:直接访问Maven Central Repository(https://mvnrepository.com/artifact/org.apache.flink/flink-connector-hive_2.11/1.17.0),搜索依赖并下载jar文件到本地仓库,或者通过命令行工具如`mvn install:install-file`手动安装。 4. **GitHub克隆源码**:如果需要源码,可以从Apache Flink GitHub仓库(https://github.com/apache/flink/tree/master/flink-connector-hive)获取。 **相关问题--:** 1. Flink如何配置和启用Hive connector? 2. 这个版本是否兼容我的Flink集群? 3. Hive连接器有哪些限制或注意事项?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值