DolphinDB智臾科技

测试 DolphinDB 数据库性能时，往往需要快速写入一些测试数据。为了方便大家快速完成简单的基准性能测试，我们提供了金融 Mock 数据生成模块，覆盖了常用的金融数据集，可以满足大家生成模拟数据的需求。此外，由于不同类型的金融数据具有不同的表结构，我们还在该模块中提供了针对不同数据类型的库表创建函数，方便大家更轻松地创建所需的库表。注意：基于本模块生成的模拟数据不具有实际意义，建议仅作读写性能测试和基础功能体验使用哦~

之前为大家介绍了如何通过 Debezium 与 Kafka 的组合实现从 Oracle 11g 到 DolphinDB 的数据同步。由于该过程涉及到多个程序的部署，而且具体的 Source 同步任务和 Sink 同步任务还需要额外管理，在运维上具有一定难度，因此我们推出了续篇，详细介绍该数据同步场景的运维操作，欢迎点击了解！

本教程将介绍一种结合 GitLab 和 DolphinDB 函数视图进行脚本管理的方法，不仅可以实现函数的权限管理 ，还能利用 Git 进行代码的版本控制和协作开发，从而实现模块代码高效、规范、安全的管理。建议收藏~

今天和大家分享的内容是：使用 DolphinDB 编程时，十个常被忽略但至关重要的细节。本文涵盖了元编程技巧、数据类型处理技巧以及分区策略优化等方面，旨在帮助大家有效避免分区冲突、计算错误、性能瓶颈、堆栈溢出等问题，从而在数据处理的征途上更加游刃有余。

过去 DolphinDB 在管理用户与权限时，需要依赖系统脚本。为了提升用户体验和操作效率，目前 DolphinDB 在 Web 端开发了可视化权限操作管理模块，用户可以轻松地设定对数据库、内存表、流表、函数视图的访问限制，从而确保数据库系统的安全。操作指南奉上，建议收藏~

DolphinDB 的 Redis 插件提供了一种数据集成的工具，可构建高效且扩展性强的实时数据处理和分析应用程序。

DolphinDB 的线程模型较为复杂，写入与查询分布式表都可能需要多个类型的线程。本教程将以一个分布式 SQL 查询为例，为大家介绍 DolphinDB 查询过程中的数据流，以及其经历的各类线程池，从而帮助大家理解 SQL 查询的全过程，进而了解 DolphinDB的线程模型、掌握 DolpinDB 的配置、以及优化系统性能的方法。

DolphinDB 在 DolphinScript 的基础上引入了类（Class），从而实现了面向对象的编程（Object-Oriented Programming, OOP）。面向对象编程是一种重要的编程范式，通过将数据和方法封装在类中，实现了数据多态、抽象、继承等特性。

DolphinDB 不仅支持多种时间数据类型，还提供了丰富的时间类型数据转换和比较规则。本文为你全面解析 DolphinDB 中时间类型数据的比较规则：从时间类型的介绍、转换、常规比较到分区剪枝的规则与注意事项……点击链接了解更多~

DolphinDB 丰富的内置 #统计分析 函数，能够满足金融及物联网用户的各类业务需求。通过这些函数，用户可以轻松地进行 #概率统计 、概率分布分析、随机数生成、 #回归分析 和假设检验等操作，实现在金融风险管理、风险评估以及物联网异常检测、预测维护等领域的统计分析需求。建议收藏~

本篇教程将介绍使用 Debezium 来实时捕获和发布 Oracle 11g 的数据库更改事件，并完成 Oracle 到 DolphinDB 的实时数据同步的完整解决方案。

基于 PyArrow 官方提供的 C++ SDK，DolphinDB 开发了能够将 DolphinDB 数据格式和 Arrow 数据格式相互转换的数据格式插件，帮助用户将 DolphinDB 数据服务对接到 Arrow 环境中，以便缩短业务的全流程时间和降低序列化成本。

为了向用户提供更便捷、更标准、兼容性更强的数据库访问体验，同时能够更方便地与第三方软件进行集成，DolphinDB 在 3.00.0 版本中引入了 catalog 功能。用户可通过 catalog 统一管理 database 和 table 等数据库对象，并使用标准 SQL 的语法对其进行访问。阅读原文详细了解 DolphinDB catalog 的基本概念与具体用法~

今天为大家分享如何在 DolphinDB 中通过函数视图，对表的访问权限实现更加精细和个性化的管控，例如限制用户仅能访问表中某些行或某些列的数据。阅读全文了解更多！

现已上线官网！

DolphinDB 设计并实现了一款自研的交易型内存存储引擎 IMOLTP，在省去磁盘 I/O 开销的同时，能够低延迟地响应高频度、高并发的更新和查询操作，点击文章了解如何使用！

DolphinDB V3.00.0 / 2.00.12 版本将支持更高效简洁的元编程方法——基于宏变量的元编程，点击原文了解如何使用~

我们整理了 DolphinDB Server 中的异常以及关键错误信息，总结出了一份列表，包含上百个错误代码以及对应的错误原因，方便开发人员更迅速地定位并处理问题~ P.S. 错误代码会随着每一次版本发布而更新，收藏文中详情链接，下次查询不迷路~

这一功能使用户能够获取有关 CPU 和内存使用情况的详细信息，记录用户对分布式表发起的 SQL 查询次数以及读取表的行数和数据量大小等数据。通过这些信息，用户能够深入了解 DolphinDB 在系统中的行为，从而更好地优化操作，提升整体系统性能。本文将从等四个方面介绍如何使用 DolphinDB 用户级别的资源跟踪功能。

使用 DolphinDB 创建数据库和表时，如果对于分区列、分区类型和排序列的选择未加注意，可能会导致查询速度变慢、数据丢失或插入错误等一系列问题。更好地了解 DolphinDB 建库建表时需注意的细节，有助于加快查询速度、减少内存使用、提高 CPU 利用率。一起来看看这十个细节，check 一下你的建库建表操作吧~

软删除（Soft Delete）是一种在数据库中处理数据删除的方法，这种删除方式并不是直接从数据库中移除数据，而是通过特定的标记方式在查询的时候将此记录过滤掉，在后台合并数据文件时才真正删除数据。相对于硬删除（Hard Delete），即直接从数据库中永久删除数据，软删除以追加方式进行数据删除，可大幅度提升列式数据库删除的效率。自 DolphinDB 2.00.11版本起，Server 中已开始支持软删除功能。实现原理详情&应用场景&性能测试案例，点击了解更多！

DolphinDB 的交易日历再度更新啦！自 2.00.11.1 版本起，DURATION 数据类型已支持交易日历。用户可以用“正负数字 + 4个大写字母”的形式表示交易所交易日历时间，计算时还可以自动去除休市日，在只需要考虑交易日的研究中简化数据处理过程，使计算结果准确。点击原文了解详细用法！

Terraform 是是一款基础架构即代码工具（IaC），几乎支持市面上所有的云服务，能够通过代码管理 IT 资源，并自动化部署资源，从而避免手动部署可能引发的错误。此外，Terraform 的命令行接口（CLI）简化了将配置文件部署到 AWS 或其他云平台的过程。本教程将介绍如何通过 Terraform 快速地在 AWS 部署 DolphinDB 单节点和高可用集群，快来看看吧~

重启节点时，用户可能会遇到启动太慢、甚至启动失败等问题。本教程以 DolphinDB v2.00.11 版本为例，结合运行日志简析 DolphinDB 整体的启动流程和重要模块的启动流程，并分析启动时常见问题的现象、原因和解决方案。建议收藏参考~

Out of Memory，简称 OOM ，代表内存耗尽的一种异常状态。造成 OOM 的原因有很多，其中包括数据量庞大、频繁的数据写入和查询操作，以及可能存在的内存泄漏问题。了解这些原因，能够帮助我们更好地规划、优化和维护系统，从而提高其稳定性和性能。本文将针对在使用 DolphinDB 时遇到 OOM 这一问题，对造成 OOM 的原因进行定位分析和归纳总结，并给出相应解决方案以及规避建议，来看看吧~

在业务可行并确保资源充足的情况下，我们推荐将伪高可用集群迁移升级为高可用集群，以提升系统的稳定性和可靠性。本篇教程将详细介绍如何搭建伪高可用集群，以及如何从伪高可用集群迁移到真正的高可用集群。

DolphinDB 在架构上引入了计算节点，将集群的计算与存储进行分离，能有效地保证集群数据写入的稳定性，降低故障平均修复时间。

如何通过 SpringBoot 快速搭建 DolphinDB 微服务，并且基于 Mybatis 操作 DolphinDB 数据库。

DolphinDB 内置的流数据框架支持流数据的发布、订阅、预处理、实时内存计算、复杂指标的滚动窗口计算等，是一个运行高效、使用便捷的流数据处理框架。本教程主要解决基于 DolphinDB 流数据处理框架完成业务代码开发后，如何部署节点启动时的流计算自动订阅问题。

分布式系统较为复杂，无论写入还是查询，都需要多个节点的配合才能完成操作。本教程以一个分布式 SQL 查询为例，介绍 DolphinDB 分布式数据库的数据流以及其中经历的各类线程池。通过了解 SQL 查询的全过程，也可以帮助我们更好地优化 DolpinDB 的配置和性能。1. DolphinDB 线程类型woker常规交互作业的工作线程，用于接收客户端请求，将任务分解为多个小任务，根据任务的粒度自己执行或者发送给 local executor 或 remote executor 执行。loca

本篇将系统的介绍DolphinDB的窗口计算，从概念划分、应用场景、指标计算等角度，帮助用户快速掌握和运用DolphinDB强大的窗口计算功能。

在使用DolphinDB时，有时客户端会抛出异常信息：Connection refused。此时，linux操作系统上使用ps命令查看，会发现DolphinDB进程不见了。本教程针对出现这种情况的各种原因进行定位分析，并给出相应解决方案。1.查看节点日志排查原因DolphinDB每个节点的运行情况会记录在相应的日志文件中。通过分析日志，能有效地掌握DolphinDB运行状况，从中发现和定位一些错误原因。当节点宕机时，非DolphinDB系统运行原因导致节点关闭的情形通常有以下三种：Web集群管理

Orca项目在DolphinDB之上实现了pandas API，使用户能更高效地分析处理海量数据。在数据存储方面，与pandas相比，Orca具备以下显著优势：更灵活的选择Orca不仅能像pandas一样在内存中进行计算，将DatFrame中的数据导出到磁盘，也能随时将DataFrame的数据以及计算结果追加到DolphinDB的数据表中，为后续的数据查询、分析提供参考。更优异的性能当数据量非常大而又需要保存数据时，在pandas中可以将整个DataFrame的数据保存到磁盘，在下一次运行Pyt

由于DolphinDB是一款相对成熟的高性能分布式时序数据库，其底层对一些方法的处理机制已经成型，这就决定了Orca在某些细节方面会与pandas存在差异。为了方便用户更快地了解和掌握Orca，本文按照以下几个模块来系统地介绍Orca与pandas存在的差异。数据类型的差异 通用函数的差异 Input/output的差异 Series、DataFrame的差异 Index Objects的差异 GroupBy的差异 Resampling的差异 Orca分区表的特殊差异1 数据类型的差异

本文将详细介绍Orca的安装方法、基本操作，以及Orca相对pandas的差异，用户在使用Orca编程时需要注意的细节，以便用户能写出高效的Orca代码。1. 安装Orca支持Linux和Windows系统，要求Python版本为3.6及以上，pandas版本为0.25.1及以上。Orca项目已经集成到DolphinDB Python API中。通过pip工具安装DolphinDB Python API，就可以使用Orca。pip install dolphindbOrca是基于Dolph

DolphinDB是一个分布式时序数据库，并且内置了丰富的计算和分析功能。它可以将TB级的海量数据存储在多台物理机器上，充分利用CPU，对海量数据进行高性能分析计算。通过Orca，我们可以在python环境中使用与pandas语法相同的脚本对DolphinDB分布式数据库中的数据进行复杂高效的计算。本教程主要介绍Orca对DolphinDB分布式表的操作。本示例使用的是DolphinDB单机模式。首先，创建本教程的示例数据库dfs://orca_stock 。创建数据库的DolphinDB脚本如下所示：

Orca项目在DolphinDB之上实现了pandas API，使用户能更高效地分析处理海量数据。如果你已经熟悉pandas，你就能通过Orca包，充分利用DolphinDB的高性能和并发，处理海量数据，而不需要额外的学习曲线。如果你已经有现成的pandas代码，你不需要对已有的pandas代码进行大量修改，就能迁移到Orca。目前，Orca项目仍然处于开发阶段，并且在快速迭代。我们欢迎你在使用Orca的同时，通过GitHub issues给我们反馈。Orca的设计理念Python的第三方库