oracle 实时加载数据,最常见的数据加载问题

本主题中介绍了最常见的数据加载问题。

我能否使用 Data Sync 转换关系数据？

可以。如果您要将数据加载到数据库即服务或使用“Oracle(瘦)”连接类型配置的内部部署数据库，则可以使用 Data Sync 转换关系数据。

我能否使用 Data Sync 转换数据集？

不能。Data Sync V2.3 中不支持此功能。

可以使用哪些数据加载方法？

可使用 Data Sync 从平面文件、关系表、OTBI、Oracle Service Cloud 或 JDBC 数据源加载数据。请参阅关于 Data Sync。

使用 SQL Developer 从关系表(例如，Oracle 数据库)中加载数据。请参阅使用 SQL Developer 加载关系表。

注：

您可以使用 Data Sync 及传统的本地连接加载到 Database Cloud Service(即，在 Data Sync 中使用 Oracle(瘦)或 Oracle (OCI8) 连接类型)。

Data Sync 如何加载数据？

Data Sync 使用 REST API 将数据加载到与 Oracle BI Cloud Service 集成的 Database Schema Service。当 Data Sync 将数据直接加载到 Database Cloud Service 时，它使用 JDBC。

能否使用 REST API 加载数据？

是否能删除不再需要的表？

可以。可使用 Oracle Application Express SQL 工作室删除 Database Cloud Service 中的表。也可使用 Data Sync 删除表。

是否能更改 Data Sync 加载数据的批大小？

对于 Database Cloud Service，回答为“能”。对于直接加载到 Database Cloud Service 中，批大小为 10,000；对于初始加载，Data Sync 使用并行写入，这意味着在任何给定时间，可将约 20,000 条记录写入目标。

对于直接 REST API 调用，回答为“是”。每批最多支持一百万行。但是，不建议这么大的批大小，因为它们更加难以管理。我们建议批大小为 3,000 条记录，这是 Data Sync 的默认值。

是否能更改 Data Sync 使用的并行流程数？

否。对于 Database Cloud Service 和内部目标，此值设置为 10。

Data Sync 可加载的行数是否受到限制？

对于 Data Sync 可加载的数据量，没有限制。数据存储大小指示可加载的数据量。对于数据集，存储限制为 50MB。

是否能允许错误？

可以。可以指定 Data Sync 可允许的错误或无效记录数。单击视图，然后单击系统属性以设置最大错误数。

从何处控制分配给 Data Sync 的内存量？

对于 Data Sync，默认设置为 2GB。Data Sync 每次运行作业时都会启动一个单独的 Java 进程。主 Data Sync 进程的内存要求由 datasync.bat/.sh 中的 –xmx 参数控制。对于单个作业，从 conf-shared/jvm_parameters.txt 读取内存值。

如果您将加载大量数据，则可以分配更多内存。如果硬件为 Data Sync 进程提供的内存有限，您也可以减少内存分配量。

是否能在同一台计算机上运行 Data Sync 的多个实例？

可以。重新将 Data Sync 安装到另一个目录中，并从该目录运行它。

是否能复制 Data Sync 环境？

可以。重新将 Data Sync 安装到另一个目录中。在首次运行 Data Sync 时，您将看到一个用于复制现有环境的选项。

是否能将 Data Sync 作业与其他企业流程集成？

可以。可以将 Data Sync 配置为使用外部触发器启动作业 – 以文件形式或采用数据库轮询机制。

多个用户是否能同时运行 Data Sync？

否。Data Sync 是一个单用户工具。可以在计算机上安装 Data Sync 以允许多个用户进行远程访问并使 Data Sync 随计算机一起启动。不过，您必须避免让多个用户同时访问 Data Sync。远程用户运行 datasyncclient.bat/.sh 以访问环境。

是否能将数据加载到多个目标？

可以。可通过两种方法来完成此操作。

使用新作业 — 默认情况下，Data Sync 会将数据加载到名为 TARGET 的默认连接。要将数据上载到其他连接，请执行以下操作：

在“连接”视图中，创建与额外数据目标的新连接。

例如，使用新目标的连接详细信息创建一个名为 TARGET2 的新连接。

在“作业”视图中，依次导航到作业和作业.

单击新建，提供一个作业名称(例如，RightNow-Job2)，然后单击下一步。

“新建作业”对话框显示项目的默认源和目标连接。

在数据源列中，选择 "TARGET"。

单击 TARGET 旁边的覆盖内容列以显示可用连接列表，然后选择您在步骤 1 中创建的新目标连接(例如，名为 TARGET2 的连接)。

在“项目”或“作业”工作区中，单击运行作业，然后选择新作业(例如，RightNow-Job2)。

在同一计算机上使用另一个 Data Sync 安装：

重新将 Data Sync 安装到另一个目录中。

从第一个环境导出元数据(依次单击工具和导出)，并将元数据导入第二个环境(依次单击工具和导入)。

在首次导入元数据时，选择逻辑和系统。后续导入只需要选中逻辑。此外，选择截断选项。

在第二个环境中，配置与其他 URL 或数据库的名为 TARGET 的连接。

可使用其他 URL 或数据库目标来隔离更改，这可能对测试很有用。

是否能使 Data Sync 进程在 Windows 计算机重新启动时自动启动？

是否能让 Data Sync 停止自动创建或变更表？

可以。依次单击视图和系统属性，并将自动创建/变更表设置为 false。

是否能从 Data Sync 仅删除/变更/创建方案对象？

可以。右键单击表，然后选择删除/创建/变更表/数据集。

是否能从多个源加载数据？

可以。创建所需数目的源，并为每个源定义一个单独的数据流。您可能会发现为每个源创建不同的项目会更方便。或者，可以将来自不同源的流组合到一个项目中。

是否能在项目中加载表子集？

否。作业的粒度是项目本身。在运行作业时，将加载项目中的所有表。

一种解决方法是停用不需要加载的表。根据源类型，使用“关系数据”选项卡、“文件目标”选项卡(“文件数据”)或“插接式源数据”选项卡上的不活动选项来停用表。另一种解决方法是创建单独的项目，其中只包含要加载的表子集。

我需要从头开始重新安装 Data Sync。是否能执行此操作？

可以。如果您具有要丢弃并重新开始的测试项目或概念证明项目，请打开命令窗口，导航到 Data Sync 安装目录，并运行：

在 Windows 上：

datasync.bat –clean

在 UNIX 上：

./datasync.sh –clean

我拥有多个作业。是否能使一个作业在另一个作业完成后立即运行？

可以。在作业开始和结束时，将在 log\jobSignal 目录中创建一个文件。可以使用这些文件触发另一个作业。有关配置作业来监听文件信号的信息，请参阅帮助：自动在一个作业后触发另一个作业。您可以使用相同的文件来让任意其他进程监听作业的开始和结束。

是否能将 Data Sync 配置为 Windows 服务？

可以。可以配置 Windows 计算机上的 Data Sync 服务器，以便在您注销后继续运行并在计算机重新启动时自动启动。使用 Windows 任务调度程序 (taskschd.msc) 创建新任务并设置以下选项：

在一般信息选项卡上：

输入将运行任务的用户帐户(此帐户通常是网络帐户)。

选择不管用户是否登录都要运行。

选择使用最高权限运行。

在“触发器”选项卡上：

创建新触发器。

在开始任务列表中，选择启动时。

在“操作”选项卡上：

创建新操作。

在程序/脚本字段中，输入 Data Sync 服务器的 bat 文件的完整路径和名称 – 即 \startserver.bat。

在开始位置(可选)字段中，输入 。

在“条件”选项卡上，查看默认值并设置适当的字段值。

在“设置”选项卡上，查看默认值并设置适当的字段值，然后单击“确定”。

在计算机启动时，此任务将启动 Data Sync 服务器。Data Sync 服务器不会在系统托盘中显示为图标。相反，您将在 Windows 任务管理器(“进程”选项卡)中看到 javaw.exe 进程。

要启动 Data Sync 客户端，请双击 datasyncClient.bat。

要关闭 Data Sync 客户端，请双击 stopserver.bat。

是否能在云计算节点上部署 Data Sync？

可以。您需要 VNC 会话才能查看 Data Sync 工具。此选项支持面向由 Data Sync 支持的 SaaS 源的云到云数据复制解决方案，而无需内部服务器来托管 Data Sync。