Flink1.12 API消费OGG推送的kafka写入Oracle

最新推荐文章于 2023-06-17 01:11:04 发布
最新推荐文章于 2023-06-17 01:11:04 发布
阅读量779 收藏 1
点赞数
分类专栏： Flink-实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang_rx/article/details/119249783
版权
Flink-实战 专栏收录该内容
13 篇文章 5 订阅 ¥39.90 ¥99.00
订阅专栏 
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0<
了解本专栏 订阅专栏 解锁全文
南修子
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
【大数据开发运维解决方案】OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
热门推荐
赵延东的一亩三分地
03-15 18万+
GoldenGate12C For Bigdata+Kafka：通过OGG将Oracle数据以Json格式同步到Kafka提供给flink流式计算 Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。这里介绍O...
Flink CDC、OGG、Debezium等基于日志开源CDC方案对比
最新发布
白杨Shayne的博客
06-17 4848
CDC 的全称是，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为 CDC。我们目前通常描述的CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。
FLINK 1.12.2 jdbc实现oracle或sqlserver连接器
arwenlin的博客
05-18 6295
Flink SQL Connector JDBC目前只支持Mysql，Derby和Postgres，但是oracle和sqlserver可以通过JDBC connector自己扩展。目前只能修改重编FLINK源码实现扩展，社区正在积极对此进行抽象和改造，未来应该会有更好的接口扩展方式。 目录 1.编译FLINK源码 2.SQLSERVER JDBC扩展示例 2.1 Flink JDBC源码简介 2.2 Flink JDBC扩展思路 2.3 Flink JDBC SQLServer connect
flink批量写入oracle,flink批处理jdbcInputFormat获取oracle clob字段数据
weixin_34666478的博客
04-10 792
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.java.DataSet;import org.apache.flink.api.java.Executio...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...
Flink 1.9 Table API -kafkaSource
01-07
Flink 1.9 Table API -kafkaSource ​ 使用kafka作为flink的数据源对接flink Table,本次测试使用的是单节点的kafka以及flink,以下为一次简单的操作，包括kafka主题的创建、订阅、发布以及具体的小案例 kafka中主题的...
flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包
02-11
flink 1.12及以上 兼容cdh6所需要的flink-shaded-hadoop jar包
使用flink api把数据写到oracle
wuchongyong的博客
05-16 826
在上面的代码中，我们使用了一个简单的Map函数将Tuple2转换为Row。然后，我们使用JDBCOutputFormat将Row写入Oracle。注意，setQuery方法中的占位符应该与Row中的字段顺序匹配。setBatchInterval和setBatchSize方法用于控制批量写入的大小和频率。最后，我们将并行度设置为1，以确保所有数据都被写入同一个数据库连接。要使用Flink API将数据写入Oracle，需要使用Flink的JDBC连接器。
Flink高性能写入关系型数据库Oracle或者MySql
weixin_47681855的博客
11-22 1969
本篇文章以Oracle为例： public class SinkOracle extends RichSinkFunction<Tuple4<String, Long, String, Double>> { private Connection connection; private PreparedStatement statement; // 1,初始化 @Override public void open(Configuration p
flink读取kafka写入Oracle,使用Flink读取Kafka中的消息
weixin_39935319的博客
04-13 844
本文将介绍如何通过和Spark一样，和Spark一样，Flink和Kafka整合的相关API也没有打包进Flink包中，而是单独进行了打包；所以如果我们需要在Flink中使用到Kafka，需要将这个包引入到我们的pom.xml文件中。本文以Flink 1.0.0和Scala 2.10.x为例进行说明，我们将下面的依赖引入到pom.xml文件中： org.apache.flinkflink-conn...
flink批量(batch)写入mysql/oracle
qq_44962429的博客
08-17 1万+
1、前言 博主之前分享过一篇文章，是flink高性能写入关系型数据库，那篇文章的效果虽然可以实现写入数据的高性能，但是牺牲了程序的健壮性，比如遇到不可控因素：数据库重启，连接失效，连接超时等，这样线上运行的程序可能就会出现问题，并且这样的问题可能只会日志打印error，并不会导致程序的挂掉，所以如果出现这样的问题，很难被发现。 接下来，博主分享一波源代码，实现流式处理批量写入关系型数据库。 整个程序的流量是这样的： kafka->flink->mysql 2、driver类描述：flink消费k
flink读取kafka写入Oracle,实战场景 Flink读取kafka数据,处理以后写入到ElasticSearch
weixin_40003767的博客
04-13 776
添加pom：org.apache.flinkflink-connector-kafka-0.9_2.111.6.1代码：import java.util.Propertiesimport org.apache.flink.streaming.api._import org.apache.flink.streaming.connectors.kafka._import org.apache.flin...
【大数据开发运维解决方案】OGG For Bigdata 12按操作类型同步Oracle数据到kafka不同topic
赵延东的一亩三分地
05-21 15万+
Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台（kafka，hdfs等）进行消费，笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。具体的实施文档已经在之前的文章中写了，这里只给出连接： OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算) 这篇文章主要介绍的是: Or...
【大数据开发运维解决方案】Ogg For Bigdata 同步Oracle数据到KAFKA（包括初始化历史数据）
赵延东的一亩三分地
09-06 15万+
OGG同步Oracle数据到KAFKA：OGG初始化进程初始化历史数据 在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章： OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算) 但是那都是做测试，没有说实际工作情况下如何将Oracle等库表的历史数据初始化到kafka的方案，网上也很少有提到这方面的内容，现在笔者给出两个方案，第一个比较笨的方案那就是写sh...
基于OGG和Datahub的阿里流计算Flink平台简介
神芷迦蓝寺
10-19 2936
平台简介 在传统的数据处理流程中，总是先收集数据，然后再把数据放到DB中，等到需要的时候再进行相关处理，这种模式不适合某些需要实时数据的应用平台，例如税务的实时申报率，这种采用MR等离线处理并不能很好的解决问题，于是新的数据计算结构：Flink流计算应时而生，它可以对大规模流动数据在不断变化的运转过程中实时的进行分析，加工并把结果发送到下一节点 这里依照阿里流计算平台进行相关知识的分享和探讨 ...
FlinkCDC解读
GavinKai
05-27 2762
FlinkCDC 因为一直没有一个详尽的解读我就自己做一篇 ·https://github.com/apache/flink· 官网 ·https://github.com/ververica/flink-cdc-connectors· 官方论坛 ·Flink SQL CDC 实践以及一致性分析·2021-03-10·https://mp.weixin.qq.com/s/tE70jJO6pZTe6oB0fKcZkQ· ·Flink 如何实时分析 Iceberg 数据湖的 CDC 数据·2021
flink 1.12 kafka 写elasticsearch
06-11
如果您想使用Flink 1.12将Kafka数据写入Elasticsearch中，可以按照以下步骤操作： 1. 首先，您需要在项目中添加Flink的Kafka和Elasticsearch依赖，例如： ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.12.0</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch7_2.11</artifactId> <version>1.12.0</version> </dependency> ``` 2. 创建一个Flink Streaming Job，并使用Kafka作为数据源，例如： ```java Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "test"); DataStream<String> stream = env.addSource(new FlinkKafkaConsumer<>("my-topic", new SimpleStringSchema(), props)); ``` 3. 将数据转换为Elasticsearch的数据格式，并将其写入Elasticsearch中，例如： ```java List<HttpHost> httpHosts = new ArrayList<>(); httpHosts.add(new HttpHost("localhost", 9200, "http")); stream.map(new MapFunction<String, Map<String, Object>>() { @Override public Map<String, Object> map(String value) throws Exception { // 将数据转换为Elasticsearch的数据格式 Map<String, Object> data = new HashMap<>(); data.put("message", value); data.put("@timestamp", new Date()); return data; } }).addSink(new ElasticsearchSink.Builder<>(httpHosts, new ElasticsearchSinkFunction<Map<String, Object>>() { @Override public void process(Map<String, Object> element, RuntimeContext ctx, RequestIndexer indexer) { // 将数据写入Elasticsearch中 IndexRequest request = Requests.indexRequest() .index("my-index") .source(element); indexer.add(request); } }).build()); ``` 上述代码中，我们将Kafka中的数据转换为Elasticsearch的数据格式，然后使用ElasticsearchSinkFunction将数据写入Elasticsearch中。 希望这些能够帮到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值