doris创建oracle catalog导致用户被锁

最新推荐文章于 2025-03-05 14:05:19 发布

豆沙糕

最新推荐文章于 2025-03-05 14:05:19 发布

阅读量229

点赞数 3

文章标签： oracle 数据库大数据

本文链接：https://blog.csdn.net/qq_38646027/article/details/141300335

版权

doris版本2.0.5.

创建oracle catalog，oracle用户的密码写错了，返回报错信息，catalog创建前台显示应该是失败了。

后来发现后台一直有连接在用错误的密码访问oracle，oracle设置了连续错误访问10次锁用户，最终导致用户被锁。

原因还没查明，不确定是否是doris的bug。

如果有原因说明或者解决方法，可以在评论中回复。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

豆沙糕

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Doris 数据集成 Catalog

03-27

6万+

在创建catalog时，在properties 中指定刷新时间参数metadata_refresh_interval_sec ，以秒为单位，若在创建catalog时设置了该参数，FE 的master节点会根据参数值定时刷新该catalog。新的 Multi-Catalog 功能在原有的元数据层级上，新增一层Catalog，构成 Catalog -> Database -> Table 的三层元数据层级。默认情况下，外部数据源的元数据变动，如创建、删除表，加减列等操作，不会同步给 Doris。

doris: Oracle

qq_36070104的博客

03-05

1262

doris: Oracle

1 条评论您还未登录，请先登录后发表或查看评论

oracle视图创建/oracle多表创建视图问题

曾昭武

01-06

7755

create or replace view emp_dept_ve (empno,ename,job,hiredate,sal,dname,loc) AS select e.empno,e.ename,e.job,e.hiredate,e.sal, d.dname,d.loc from emp e left join dept d on d.deptno = e.deptno ; -- ...

oracle中视图的创建和使用

LOVE_MOLY的博客

10-20

591

简介：图是基于一个表或多个表或视图的逻辑表，本身是不包含数据的，通过它可以对表里面的数据进行查询和修改。视图基于的表为基表，oracle的数据库对象分为五种：表、视图、序列、索引和同义词。视图的优点： 1.访问速度快，对数据库的访问，因为视图可以有选择性的选取数据库里的一部分。 2.用户通过简单的查询可以从复杂查询中得到结果 3.维护数据的独立性，视图可以从多个表检索数据 4.

doris: JDBC Catalog

qq_36070104的博客

03-05

1131

doris: JDBC Catalog

Doris：多源数据目录（Multi-Catalog）

m0_37559973的博客

11-11

6571

多源数据目录（Multi-Catalog）功能，旨在能够更方便对接外部数据目录，以增强Doris的数据湖分析和联邦数据查询能力。

【实操记录】Oracle数据整库同步至Apache Doris

程裕强的专栏

10-05

2823

本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考。

创建Doris的外部MySQL catalog

JustinMars的博客

08-30

752

Doris JDBC Catalog 支持通过标准 JDBC 接口连接 MySQL 数据库

Doris 外部表

shangjg3的博客

12-01

727

切记，这里要求所有的BE节点都安装上相同的Driver，并且安装路径相同，同时有相同的be/conf/odbcinst.ini的配置。各大主流数据库都会提供ODBC的访问Driver，用户可以执行参照各数据库官方推荐的方式安装对应的ODBC Driver LiB库。Driver= 这个要根据实际BE安装Driver的路径来填写，本质上就是一个动态库的路径，这里需要保证该动态库的前置依赖都被满足。上述配置[]里的对应的是Driver名，在建立外部表时需要保持外部表的Driver名和配置文件之中的一致。

DORIS数据格式

09-04

描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862

Apache Doris (六十九）：JDBC Catalog

qq_32020645的博客

01-23

749

🏡🚩 私聊博主：私聊博主加WX好友，获取更多资料哦~JDBC Catalog 通过标准 JDBC 协议，连接其他数据源。连接后，Doris 会自动同步数据源下的 Database 和 Table 的元数据，以便快速访问这些外部数据，数据不会同步到Doris中，Doris只是通过JDBC方式来访问外部数据库中的数据。目前Catalog支持MySQL、PostgreSQL、Oracle、SQLServer、Clickhouse、Doris。

高效数据移动指南 | 如何快速实现数据库 Oracle 到 Apache Doris 的数据同步？

Tapdata 技术博客

10-15

1500

本专题将基于实践经验，从常见需求入手，为大家介绍热门数据源与数据目标之间的数据同步（全量/增量）如何实现？了解如何快速搭建数据管道，实现数据的高效迁移与无缝同步。本文教程为：Oracle → Doris 的数据同步任务。

Linux ODBC方式远程访问Oracle数据库--Doris的ODBC方式导入数据

qq_43771652的博客

12-08

2827

安装和导入目录前言一、安装unixODBC1.自带方式2.如果yum失败就安装以下：【推荐】二、下载Oracle客户端依赖包和Oracle ODBC驱动包三、解压安装四、配置数据源五、测试链接六、配置doris的驱动七、向doris导入表前言在doris导入数据的时候，碰到了很多问题，参照了好多文章，整理编写了一份odbc访问oracle数据库，访问通了之后再用doris进行数据导入的文章，文章是我遇到的问题以及个人的看法，欢迎大佬来批评指正！一、安装unixODBC 1.自带方式 yum insta

Apache Doris Oracle ODBC外表使用指南

锋哥聊DORIS数仓

01-02

1324

1.软件环境操作系统：ubuntu 18.04 Apache Doris ：0.15 Postgresql数据库：oracle 19c UnixODBC：2.3.4 Oracle ODBC ：instantclient-odbc-linux.x64-19.13.0.0.0dbru 2.Oracle安装部署因为是测试没有Oracle的环境，由于安装比较繁琐耗时，所以通过Docker进行快速安装部署 2.1 制作镜像安装方法是通过官方dockerfile自己编译镜像安装， root@i

使用Apache Doris自动同步整个 MySQL/Oracle 数据库进行数据分析

dashujuedu的博客

09-07

4130

Flink-Doris-Connector 1.4.0 允许用户一步将包含数千个表的整个数据库（MySQL或Oracle ）摄取到Apache Doris（一种实时分析数据库）中。通过内置的Flink CDC，连接器可以直接将上游源的表模式和数据同步到Apache Doris，这意味着用户不再需要编写DataStream程序或在Doris中预先创建映射表。

Doris: Multi Catalog 多源数据目录

weixin_42326851的博客

07-23

5609

Doris: Multi Catalog 多源数据目录

FlinkCDC同步ORACLE至Apache Doris

qq_30198507的博客

01-03

4077

Apache Doris（以前称为Palo）是一个开源的大数据分析数据库项目，是由百度公司发起的一个分布式 SQL 数据仓库。它的设计目标是支持低延迟、高吞吐量的交互式 SQL 查询，可以用于实时报表、在线分析处理等场景。Apache Doris 提供了分布式的、可伸缩的架构，支持高并发的大规模数据查询和分析。它提供了高可靠性、容错性和高性能的特性，支持实时数据加载、提交、分析和查询。进一步地，Apache Doris 支持各种数据格式和数据源，包括结构化数据、半结构化数据和非结构化数据等。

ORACLE通过Flinkcdc同步数据到Doris

最新发布

03-16

<think>嗯，用户想了解如何通过Flink CDC将数据从Oracle同步到Doris。首先，我需要回忆一下相关组件和技术。Flink CDC是用来捕获变更数据的，而Doris是一个分析型数据库，适合实时分析。那么整个流程应该是配置Flink作业，使用Flink CDC连接Oracle，处理数据变化，然后写入Doris。首先，用户可能需要确认各个组件的版本兼容性，比如Flink、Flink CDC Connector和Doris Connector的版本是否匹配。接下来是具体步骤：配置Oracle的CDC，确保归档日志开启，可能需要修改数据库参数和用户权限。然后编写Flink作业，使用Flink SQL或者DataStream API。这里可能需要注意Oracle CDC的配置参数，比如scan.startup.mode，处理初始快照或者增量数据。另外，Doris这边需要配置FE和BE，创建表，然后通过Flink的Doris Connector写入。可能需要处理数据类型映射的问题，比如Oracle的日期类型到Doris的转换。还有数据写入方式，是用Stream Load还是其他方式，如何保证数据一致性，比如开启两阶段提交。用户可能遇到的问题包括连接失败，比如网络问题或者权限不足，需要检查防火墙和用户权限。还有数据延迟，可能需要调整Flink的并行度或者检查点间隔。数据重复或丢失的话，可能需要检查Exactly-Once的配置，或者Doris的导入事务支持。需要提醒用户注意性能调优，比如内存配置，并行度设置，以及监控作业的运行状态。最后，建议用户参考官方文档，确保所有配置正确，并进行测试验证同步的正确性。</think>以下是通过Flink CDC将Oracle数据同步到Doris的步骤说明： --- ### 一、核心组件 1. **Oracle**：数据源数据库 2. **Flink CDC**：捕获Oracle的变更数据（Change Data Capture） 3. **Apache Flink**：流处理引擎 4. **Doris**：目标分析型数据库 --- ### 二、实现步骤 #### 步骤1：环境准备 - 确认版本兼容性： $$ \text{Flink 1.13+} \quad + \quad \text{flink-connector-oracle-cdc 2.3+} \quad + \quad \text{Doris Connector 1.1+} $$ - 开启Oracle归档日志（需DBA权限）： ```sql ALTER DATABASE ARCHIVELOG; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; CREATE USER flink_user IDENTIFIED BY password; -- 创建专用用户 GRANT SELECT ON V_$LOG TO flink_user; -- 授权日志访问 ``` #### 步骤2：配置Flink CDC Source ```sql CREATE TABLE oracle_source ( id INT, name STRING, update_time TIMESTAMP ) WITH ( 'connector' = 'oracle-cdc', 'hostname' = 'oracle_host', 'port' = '1521', 'username' = 'flink_user', 'password' = 'password', 'database-name' = 'ORCL', 'schema-name' = 'scott', 'table-name' = 'employees', 'debezium.log.mining.strategy' = 'online_catalog' ); ``` #### 步骤3：配置Doris Sink ```sql CREATE TABLE doris_sink ( id INT, name STRING, update_time TIMESTAMP ) WITH ( 'connector' = 'doris', 'fenodes' = 'doris_fe:8030', 'table.identifier' = 'db.table', 'username' = 'root', 'password' = '', 'sink.properties.format' = 'json', 'sink.properties.strip_outer_array' = 'true' ); ``` #### 步骤4：启动同步作业 ```sql INSERT INTO doris_sink SELECT * FROM oracle_source; ``` --- ### 三、关键技术点 1. **数据一致性保证**： - 通过`EXACTLY_ONCE`语义配置 - Doris需开启两阶段提交： ```prolog enable_two_phase_commit = true ``` 2. **性能优化**： ```yaml # Flink Checkpoint配置 execution.checkpointing.interval: 10s execution.checkpointing.tolerable-failed-checkpoints: 3 ``` 3. **异常处理**： - 断点续传：通过`scan.startup.mode=timestamp`指定恢复位点 - 错误重试：配置`jdbc.connection.max-retries=5` --- ### 四、常见问题排查 1. **连接失败**： - 检查Oracle监听状态：`lsnrctl status` - 验证Doris FE/BE节点连通性 2. **数据延迟**： ```shell # 查看Flink背压 curl http://flink-jobmanager:8081/jobs/<jobid>/backpressure ``` 3. **字段类型映射**： | Oracle类型 | Doris类型 | |------------|-----------| | NUMBER | BIGINT | | DATE | DATETIME | | CLOB | STRING | --- ### 五、推荐部署模式 ```mermaid graph LR A[Oracle] -->|CDC| B(Flink Cluster) B -->|Stream Load| C[Doris FE] C --> D[Doris BE] D --> E((数据分片)) ``` 建议生产环境采用Flink on YARN/K8s部署，Doris集群建议3FE + 3BE起步配置。