oracle实时往Kafka传入数据,将数据从Oracle 11g流式传输到Kafka(Streaming data from Oracle 11g to Kafka)...

将数据从Oracle 11g流式传输到Kafka(Streaming data from Oracle 11g to Kafka)

我正在寻找一种解决方案，将数据从Oracle 11g流式传输到Kafka。 我希望使用GoldenGate，但这似乎只适用于Oracle 12c。 Confluent平台是最好的方式吗？

谢谢！

I am looking for a solution to stream data from Oracle 11g to Kafka. I was hoping to use GoldenGate, but that only seems to be available for Oracle 12c. Is the Confluent platform the best way to go?

Thanks!

原文：https://stackoverflow.com/questions/42793048

更新时间：2019-10-23 18:10

最满意答案

首先，一般的答案是：将Oracle(数据库)连接到Kafka的最佳方法是使用Confluent Platform和Kafka的Connect API以及GoldenGate的即用型连接器。 请参阅https://www.confluent.io/product/connectors/上的 “认证连接器”部分中的GoldenGate / Oracle条目。 列出的GoldenGate Kafka连接器由Oracle维护。

Confluent平台是最好的方式吗？

因此，一般来说，上述问题的答案是：“是的，确实如此。”

但是，正如您针对Oracle版本的特定问题所指出的，Oracle遗憾的是在其GoldenGate连接器的自述文件中包含以下信息：

支持的版本

Oracle GoldenGate Kafka Connect处理程序/格式化程序使用以下产品版本进行编码和测试。

Oracle GoldenGate for Big Data 12.2.0.1.1

汇编IO Kafka / Kafka Connect 0.9.0.1-cp1

Oracle GoldenGate Kafka Connect处理程序/格式化程序可能需要移植才能与其他版本的Oracle GoldenGate for Big Data和/或Confluent IO Kafka / Kafka Connect一起使用

这意味着连接器不能与Oracle 11g一起使用，至少就我所知。

对不起，如果这不能回答您的具体问题。 至少我想给你一些关于一般方法的反馈。 如果我遇到更具体的答案，我会更新此文本。

2017年3月15日更新：您目前最好的选择是使用Confluent的JDBC连接器 。 该连接器无法提供与Oracle的原生GoldenGate连接器完全相同的功能集。

First, the general answer would be: The best way to connect Oracle (databases) to Kafka is indeed to use Confluent Platform with Kafka's Connect API in combination with a ready-to-use connector for GoldenGate. See the GoldenGate/Oracle entry in section "Certified Connectors" at https://www.confluent.io/product/connectors/. The listed Kafka connector for GoldenGate is maintained by Oracle.

Is the Confluent platform the best way to go?

Hence, in general, the answer to the above question is: "Yes, it is."

However, as you pointed out for your specific question about Oracle versions, Oracle unfortunately has the following information in the README of their GoldenGate connector:

Supported Versions

The Oracle GoldenGate Kafka Connect Handler/Formatter is coded and tested with the following product versions.

Oracle GoldenGate for Big Data 12.2.0.1.1

Confluent IO Kafka/Kafka Connect 0.9.0.1-cp1

Porting may be required for Oracle GoldenGate Kafka Connect Handler/Formatter to work with other versions of Oracle GoldenGate for Big Data and/or Confluent IO Kafka/Kafka Connect

This means that the connector does not work with Oracle 11g, at least as far as I can tell.

Sorry if that doesn't answer your specific question. At least I wanted to give you some feedback on the general approach. If I do come across a more specific answer, I'll update this text.

Update Mar 15, 2017: The best option you have at the moment is to use the Confluent's JDBC connector. That connector can't give you quite the same feature set as Oracle's native GoldenGate connector though.

2017-03-15

相关问答

你是不是要在windows上安装，可下载的却是linux版本的oracle呀。 你仔细看看压缩文件的名字是for_windowns的还是for_linux的，如果不是你想要的再重新下载一个你想要的就好了。 下载地址 www.oracle.com

你是不是要在windows上安装，可下载的却是linux版本的oracle呀。

你仔细看看压缩文件的名字是for_windowns的还是for_linux的，如果不是你想要的再重新下载一个你想要的就好了。

下载地址

www.oracle.com

http://download.oracle.com/otn/nt/oracle11g/win32_11gR1_database.zip

不需要注册，直接复制到迅雷或其他下载软件中即可下载。

Oracle数据库创建用户 在dba权限的用户下执行命令"create user 用户名 identified by 密码;" 用这个命令创建的用户还不能登录，需要进行授权 赋予connect和resource权限 grant connect,resource to 用户名;

您可以按照以下Microsoft Docs主题了解有关Attunity的Microsoft SQL Server 2012更改数据捕获Oracle的更多信息 https://social.technet.microsoft.com/wiki/contents/articles/7644.microsoft-sql-server-2012-change-data-capture-for-oracle-by-attunity-topics.aspx https://docs.microsoft.com

...

您不能使用原始导出( exp )实用程序 ，但使用较新的数据泵expdp您可以使用content参数仅导出数据： expdp content=data_only ...

使用exp我认为最接近的等价是在导入时设置ignore=y ; 它将尝试重新创建模式对象，但不会抱怨它们已经存在。 但由于原始实用程序已弃用，因此无论如何都应使用数据泵。 You can't with the original export (exp) utility, but with the newer data pump

...

不可能。 您需要安装数据库。 出于开发目的，您可以安装Oracle XE 不幸的是，MacOS无法使用，你需要Linux或Win http://www.oracle.com/technetwork/database/database-technologies/express-edition/overview/index.html?ssSourceSiteId=ocomen Is not possible. You need to install a database. For developmen

...

我使用Oracle SQL Developer： http ： //www.oracle.com/technetwork/developer-tools/sql-developer/downloads/index-098778.html 有Win-32，Win-64，Linux和Mac OS X版本。 I use Oracle SQL Developer: http://www.oracle.com/technetwork/developer-tools/sql-developer/downloa

...

首先，一般的答案是：将Oracle(数据库)连接到Kafka的最佳方法是使用Confluent Platform和Kafka的Connect API以及GoldenGate的即用型连接器。 请参阅https://www.confluent.io/product/connectors/上的 “认证连接器”部分中的GoldenGate / Oracle条目。 列出的GoldenGate Kafka连接器由Oracle维护。 Confluent平台是最好的方式吗？ 因此，一般来说，上述问题的答案是：“是

...

11g应该能够导入从版本7生成的转储文件。我没有尝试过这个，但Oracle声称11g imp实用程序可以使用28年前的Oracle版本！ 有关所有详细信息，请参阅支持文档132904.1。 它声称“导入可以读取由Export版本5.1.22及更高版本(最高版本)创建的导出转储文件。” 它甚至包括从7.3.4导出到11.1.0的示例。 运行版本7 exp程序以创建转储文件，并使用11g imp程序导入数据。 对于11g， imp和exp实用程序包含在默认安装中，可以从命令行调用。 我假设您的版本7安

...