flink scala sourceTest

科学的N次方

于 2022-11-21 01:35:21 发布

阅读量459

点赞数

分类专栏：数据仓库技术体系文章标签： flink scala kafka

本文链接：https://blog.csdn.net/chenshijie2011/article/details/127956780

版权

数据仓库技术体系专栏收录该内容

135 篇文章 50 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文主要探讨了如何在Flink的Scala API中进行Source的测试，详细解析了源码并提供了实际的测试案例，帮助读者深入理解Flink与Kafka的集成以及数据摄入过程。

摘要由CSDN通过智能技术生成

import java.util.Properties

import org.apache.flink.api.common.functions.{
   FilterFunction, FlatMapFunction

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

科学的N次方

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flink基础学习(Scala):获取数据来源Source

厚积薄发

03-18

680

文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例

Flink之Source

SuperBoy_Liang的博客

03-10

1191

Flink 可以从各种来源获取数据，然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源，而读取数据的算子就是源算子（Source）。所以，Source 就是我们整个处理程序的输入端。

参与评论您还未登录，请先登录后发表或查看评论

flink CDC scala版本实战

大数据

07-24

1336

flink cdc scala版本演示

flink scala mysql_Flink写MySQL Demo

weixin_39955700的博客

01-19

121

1. pom.xmlxmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">4.0.0org.learn.LearnFlinkLearnFlink...

flink mysql source,flink 自定义 mysql source

weixin_42467533的博客

03-13

798

mysql source1 import java.sql.{Connection, DriverManager, PreparedStatement}23 import org.apache.flink.configuration.Configuration4 import org.apache.flink.streaming.api.functions.source.{RichSourceFu...

flink的source

zzds111的博客

03-04

1378

常见的Source可以分为大概4类： 1、基于本地集合的 source 2、基于文件的 source 3、基于网络套接字的 source 4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source 首先了解一下常见的测试source：也就是上面的前3个 package com.zh.source import or

[Scala/Flink] 写入 Redis

weixin_42902669的博客

05-17

779

1. 依赖&版本 <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <maven.compiler.compilerVersion>8</maven.compiler.compilerVersion> <flink.vers

flink scala java区别_Flink与Scala IDE和SBT

weixin_35387135的博客

02-26

431

我正在研究我的第一个Apache Flink wordcount示例 . 我的设置是Scala IDE(Eclipse)4.3.0，Scala 2.10.4，SBT版本0.13.8 .对于调用env.fromElements，IDE抛出错误“无法扩展由先前版本的Scala编译的宏”val env = ExecutionEnvironment.getExecutionEnvironmentval t...

flink(scala版)学习一之常用的source

皮皮虾的博客

05-08

721

source之文件数据读取 import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment //导入隐式转换，建议写在这里，可以防止IDEA代码提示出错的问题 import org.apache.flink.streaming.api.scala._ object FileReadeSource { def main(args: Array[String]): Unit = { //初始化Flink的Streamin

Flink加载数据源的五种方式(scala版)

weixin_67766119的博客

10-07

1921

Flink加载数据源的五种方式

flinksql下的时间日期格式转换

热门推荐

科学的N次方

11-07

1万+

flinksql里面最常用的事情就是时间格式转换，比如各种时间格式转换成TIMESTAMP(3).

null, message from server: “Host ‘xxx‘ is blocked because of many connection errors； unblock

科学的N次方

11-24

1万+

Host is blocked because of many connection errors; unblock with ‘mysqladmin flush-hosts’ 解决方法环境：centos6.5，mysql5.1.17错误：Host is blocked because of many connection errors; unblock with ‘mysqladmin flu

oracle 安装 must be configured to display at least 256 colors 问题

科学的N次方

10-11

7838

Checking Temp space: must be greater than 120 MB. Actual 29477 MB Passed Checking swap space: must be greater than 150 MB. Actual 511 MB Passed Checking monitor: must be configured to displ

kafka的分区的leader和follower

科学的N次方

06-20

5417

在kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower,在创建topic的时，kafka会将每个分区的leader均匀的分配在每个broker上。我们正常使用kafka是感觉不到leader，follower的存在的。但其实，所有的读写操作都是由leader处理，而所有的follower都复制leader的日志数据文件，如果leader出现故障时，follower就会被选举为leader。所以，可以这样说： kafka中的leader负责处

kafka_2.12-0.10.2.1集群搭建安装配置

科学的N次方

07-21

3518

在搭建kafka集群之前，请保证zookeeper已安装。1、下载下载 kafka_2.12-0.10.2.1.tgz2、解压$ cd /home/hadoop$ tar zxvf kafka_2.12-0.10.2.1.tgz 3、配置环境变量,各个节点都需要配置$ vi /etc/profileexport KAFKA_HOME=/home/hadoop/kafka_2.12-0.10.2.1

mysql 报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException

科学的N次方

01-11

3512

早上看日志发现连接超时报错： Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: The last packet successfully received from the server was48477 seconds ago.The last packet sent successfully to the s

oracle rac 通过asmlib创建asm磁盘组

科学的N次方

06-06

3219

1.首先创建共享磁盘组 https://blog.csdn.net/chenshijie2011/article/details/80594986 2.2创建ASM Disk Volumes 对磁盘需要新进行fdisk分区，在rac1上面进行分区。 [root@rac1 ~]# fdisk /dev/sdb Device contains neither a valid DOS part...

数仓的难点在于如何保障数据的一致性，正确性，时效性，性价比的平衡统一

科学的N次方

11-06

3138

flink连接kafka用Scala代码实现

最新发布

03-26

以下是Scala代码实现Flink连接Kafka： ```Scala import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.streaming.connectors.kafka.{FlinkKafkaConsumer, FlinkKafkaProducer} import org.apache.flink.streaming.util.serialization.KeyedSerializationSchema object FlinkKafkaExample { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment //设置Kafka相关参数 val kafkaProps = new Properties kafkaProps.setProperty("bootstrap.servers", "localhost:9092") kafkaProps.setProperty("group.id", "test") //创建Kafka source val kafkaSource = new FlinkKafkaConsumer[String]( "topic1", new SimpleStringSchema, kafkaProps ) //创建Kafka sink val kafkaSink = new FlinkKafkaProducer[String]( "topic2", new KeyedSerializationSchema[String] { override def serializeKey(element: String): Array[Byte] = null override def serializeValue(element: String): Array[Byte] = element.getBytes("UTF-8") override def getTargetTopic(element: String): String = null }, kafkaProps ) //读取Kafka数据 val stream = env.addSource(kafkaSource) //处理数据 val processedStream = stream.map(x => x.toLowerCase()) //将数据写入Kafka processedStream.addSink(kafkaSink) env.execute("Flink Kafka Example") } } ``` 代码解释： - 首先，我们需要获取 `StreamExecutionEnvironment` 对象。 - 然后，我们需要设置 Kafka 相关参数。这些参数包括 `bootstrap.servers`（Kafka 服务器的地址）、`group.id`（消费者组 ID）等。 - 接下来，我们需要创建一个 Kafka 消费者 `FlinkKafkaConsumer` 和一个 Kafka 生产者 `FlinkKafkaProducer`。需要注意的是，在这里我们使用了 `SimpleStringSchema` 作为反序列化器，它可以将 Kafka 中的字符串数据直接转化为 Flink 中的字符串类型。 - 然后，我们创建一个流 `stream`，通过 `addSource` 方法从 Kafka 中读取数据。 - 接下来，我们对读取到的数据进行处理。在这个例子中，我们简单地将所有字母转换为小写。 - 最后，我们把处理后的数据写入 Kafka。使用 `addSink` 方法，将数据流连接到 Kafka 生产者上。 - 最后，我们通过 `env.execute()` 方法启动任务。