记录一次实时应用场景下，数仓获取Oracle数据遇到的坑

VIP文章 已于 2022-08-15 09:18:46 修改
阅读量263 收藏
点赞数 1
分类专栏： 工作随笔 文章标签： oracle 数据库 数据仓库 数据分析 大屏端
于 2022-08-09 11:09:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39992997/article/details/126241660
版权

项目场景：

工厂建设监控大屏，目标是为了总览工厂制造实时动态，其中涉及到实时产量和设备状态等信息数据刷新频次要求较高，涉及到Oracle的 CDC(实时数据变更获取) ，原计划是直接通过logminer解析MES的报表库日志

设备状态

有上位机的设备调用MES Webservice接口，返回的数据写入MES同时也写入数仓；

无上位机的设备，PLC调用PLC接口再调用MES

最低0.47元/天 解锁文章
cpGG
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
随机获取oracle数据库中的任意一行数据(rownum)示例介绍
09-10
对于rownum来说它是oracle系统顺序分配为从查询返回的行的编号，返回的第一行分配的是1，第二行是2，依此类推，这个伪字段可以用于限制查询返回的总行数，且rownum不能以任何表的名称作为前缀
Oracle数据库LogMiner工具的使用方法
欢迎你来到飞扬博客
10-21 291
    Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具，使用该工具可以轻松获得Oracle 重作日志文件（归档日志文件）中的具体内容，特别是，该工具可以分析出所有对于数据库操作的DML（insert、update、delete等）语句，另外还可分析得到一些必要的回滚SQL语句。该工具特别适用于调试、审计或者回退某个特定的事务。　　LogMiner分...
实时数仓：基于 Flink CDC 实现 Oracle 数据实时更新到 Kudu
cloudbigdata的博客
02-16 7674
作者：于乐，腾讯 CSIG 工程师解决方案描述概述Flink CDC 于 2021 年 11 月 15 日发布了最新版本 2.1，该版本通过引入内置 Debezium 组件，增加了对 Or...
【Oracle】准实时大规模数据提取
Kida 的技术小屋（CSDN 版）
10-20 1286
这篇文章应该是我最后的一篇Oracle数据库相关的文章，里面讲述的内容几乎涵盖了之前所说的全部知识点。加入现公司后已经没有使用过Oracle数据库，我们MySQL数据库系列再见。
FlinkCDC系列之Oracle实时数据采集
最新发布
Tanger_Xiaolin的博客
11-02 1014
新增一条数据：INSERT INTO "FLINKUSER"."ORDERS"("ORDER_ID", "ORDER_DATE", "CUSTOMER_NAME", "PRICE", "PRODUCT_ID", "ORDER_STATUS") VALUES ('10006', TO_TIMESTAMP('2020-07-30 20:00:30.000', 'SYYYY-MM-DD HH24:MI:SS:FF3'), 'Edward', '25.25', '106', '0');-- 日志加载 -->
flink 实时数仓构建与开发[记录一些坑]
a123147abc的博客
06-19 1501
flink 实时数仓构建与开发
Oracle获取用户下所有表名 获取表所有的列名及数据类型.txt
05-22
Oracle获取用户下所有表名 获取表所有的列名及数据类型 两个SQL查询语句
记录一次在Vmware ESXi6虚拟机环境下搭建oracle的RAC的过程
02-09
记录一次在Vmware ESXi6虚拟机环境下搭建oracle的RAC的过程
SQL获取第一条记录的方法(sqlserver、oracle、mysql数据库)
09-10
本文给大家收集整理些关于sql获取第一条记录的方法，包括sqlserver获取第一条记录，oracle获取第一条记录，mysql获取第一条记录，对sql获取第一条记录的方法感兴趣的朋友可以参考下本
实时数仓项目开发过程中发现的几个问题和优化点(数据接入)
daydaylearn的专栏
05-09 715
nifi.provenance.repository.max.attribute.length属性是Apache NiFi工具中的一个属性，用于指定属性值（即Attributes）的最大长度。首先，增、改、删三种SQL要输出到三个FlowFile中，因为如果输出到一个FlowFile，三个SQL以分号分割，在下一步执行时，会报错，这是JDBC机制决定的。然而，如果同一个流文件上设置重复的属性名，则会被视为同一属性，后面的属性值会覆盖先前的属性值。因此，在设置属性时应格外注意，以避免不必要的数据丢失。
IBM CDC 与ORACLE GOLDEN GATE比较
05-29
PPT介绍了oracle GoldenGate与IBM CDC的原件架构，并且对两个增量数据捕获软件进行综合的比较，以列表的方式列出各比较项，直观、客观地分析两个软件。
Flink CDC、OGG、Debezium等基于日志开源CDC方案对比
白杨Shayne的博客
06-17 4394
CDC 的全称是，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为 CDC。我们目前通常描述的CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。
如何实现对 Oracle 的实时数据捕获和性能调优｜Flink CDC 专题
Ververica的博客
03-28 546
Flink-learning 学训平台和 Flink CDC 专题课程来啦！
第三章 数据采集专题之FlinkCDC实时采集Oracle
qq_27924553的博客
01-11 3538
1、Oracle数据准备 （1）将Oracle.sql文件导入到Oracle --在PLSQL中打开命令执行窗口 @ @E:\实时数据仓库\2、脚本文件/Oracle.sql --脚本路径 （2）查看表数据 select * from base_province 2、测试环境准备 （1）创建文件夹，下面要用到 E:\oracle\db_recovery_file_dest E:\oracle\namespace （2）以DBA身份连接到数据库 Windows打开CMD
flink的Oracle-cdc如何实现
chenzuoli的博客
08-08 5967
标题: flink的Oracle-cdc如何实现 日期: 2021-08-08 14:33:39 标签: [flink, oracle] 分类: 实时数仓 今天来说说如何实时接入oracle的数据，官方没有提供oracle-cdc的connector，那么我们现在要自己写connector，且看下文。 且看阿里提供的数据接入connector有哪些：mysql-cdc postgres-cdc 官档在这里： mysql-cdc postgres-cdc 依赖： <dependency> .
Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践
Ververica的博客
12-15 5378
▼ 关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文作者为中国农业银行研发中心丁杨，在 Flink CDC 2.1 版本发布后第一时间下载使用，并成功实现了对 Oracle...
Oracle 数据仓库详解
鱼丸丶粗面
03-04 2633
数据仓库
数仓项目踩坑记录与解决方法总结
SYBYy6的博客
07-26 1055
记录在学习数仓项目时，运行程序所出现的问题，与解决方法。 问题1 ：超出虚拟内存限制 beyond the ‘VIRTUAL’ memory limit 报错内容： Container [pid=17246,containerID=container_1653382813166_0005_01_000002] is running 562797056B beyond the 'VIRTUAL' memory limit. Current usage: 422.6 MB of 1 GB physical me
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
prague6695的博客
08-11 2269
尚硅谷大数据项目之Flink实时数仓-踩坑记录和笔记记录
oracle数仓遇到的问题
08-03
Oracle数仓在实践过程中常常遇到一些问题。其中一些常见问题包括： 1. 数据质量问题：数据质量是数仓建设过程中的一个重要问题。数据来源可能存在重复、缺失、不一致等问题，导致数仓中的数据不准确或不可靠。需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值