DolphinDB 基准性能测试工具：金融模拟数据生成模块合集

于 2024-09-09 16:22:15 发布
阅读量1.3k 收藏 15
点赞数 27
分类专栏： 量化金融 DolphinDB与大数据 时序数据库使用教程 文章标签： 大数据 数据分析 数据库 行情数据 金融数据 量化金融
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41996852/article/details/142062273
版权

测试 DolphinDB 数据库性能时，往往需要快速写入一些测试数据。为方便用户快速完成简单的基准性能测试，金融 Mock 数据生成模块覆盖了常用的金融数据集，满足用户生成模拟数据的需求。基于本模块生成的模拟数据不具有实际意义，建议仅作读写性能测试和基础功能体验使用。

本模块基于 DolphinDB 2.00.13 开发，请使用 2.00.13 及以上版本进行测试。

1. 环境配置

本教程的模块代码文件（ MockData.dos ）可在附录中获取，将 MockData.dos 文件移至节点的 [home]/modules 目录下即完成环境配置。其中 [home] 目录由系统配置参数 home 决定，可以通过 getHomeDir() 函数查看。

更多 DolphinDB 模块的说明，请参阅：DolphinDB 教程：模块。

2. 使用说明

通过 use 关键字导入模块。导入模块后，可以通过以下两种方式来使用模块内的自定义函数：

(1) 直接调用模块中的函数，生成1天10个股票的 Level-2 快照数据，一共有48020行：

use MockData
t = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)

(2) 通过模块中的函数的完整路径来调用：

use MockData
t = MockData::stockSnapshot(tradeDate=2020.01.06, securityNumber=10)

若导入的不同模块中含有相同名称的函数，则必须通过第二种方式调用。

3. 模拟数据生成函数说明

本模块仅生成交易日的数据，当输入日期为非交易日时，会返回空数据表。交易日通过 DolphinDB 内置交易日历获取。由于存在多个交易所的交易日历，本文使用上交所的交易日历作为金融 Mock 数据生成模块的交易日。更多 DolphinDB 内置交易日历的说明，请参阅：交易日历。

模拟数据生成函数参考真实市场的交易量。对于每只标的，生成的一天数据量都相同，且生成的数据在一天中的交易时间段内均匀分布。生成的相关数值指标由随机数和固定值组成，不具备实际意义。具体数据量和说明如下表所示：

函数名单日单标的数据量（行）说明函数名单日单标的数据量（行）说明
stockSnapshot4,802每 3 秒生成一只标的数据XBondTrade120按固定数据量在交易时间内均匀分布，约 2 分钟生成一只标的数据
stockEntrust28,802每 0.5 秒生成一只标的数据dailyFactor（单因子）1每 1 天生成一只标的因子数据
stockTrade28,802每 0.5 秒生成一只标的数据halfHourFactor（单因子）8每 30 分钟生成一只标的因子数据
stockMinuteKLine242每 1 分钟生成一只标的数据tenMinutesFactor（单因子）240每 10 分钟生成一只标的因子数据
stockDailyKLine1每 1 天生成一只标的数据minuteFactor（单因子）240每 1 分钟生成一只标的因子数据
optionsSnapshot900按固定数据量在交易时间内均匀分布，约 19 秒生成一只标的数据secondFactor（单因子）14,400每 1 秒生成一只标的因子数据
futuresSnapshot2,000按固定数据量在交易时间内均匀分布，约 9 秒生成一只标的数据level2Factor（单因子）4,800每 3 秒生成一只标的因子数据
ESPDepth80按固定数据量在交易时间内均匀分布，约 3 分钟生成一只标的数据tickFactor（单因子）28,800每 0.5 秒生成一只标的因子数据
ESPTrade10按固定数据量在交易时间内均匀分布，约 30 分钟生成一只标的数据futuresFactor（单因子）66,600每 0.5 秒生成一只标的因子数据
XBondDepth1,000按固定数据量在交易时间内均匀分布，约 17 秒生成一只标的数据

3.1 股票数据

股票数据主要有 Level-2 快照、逐笔委托以及逐笔成交等类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。

3.1.1 stockSnapshot

语法

stockSnapshot(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示快照数据的日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。

详情

创建一天的 Level-2 快照模拟数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。

例子

snapshotData = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)

3.1.2 stockEntrust

stockEntrust(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示逐笔委托数据的日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。

详情

创建一天的逐笔委托数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。

例子

entrustData = stockEntrust(tradeDate=2020.01.06, securityNumber=10)

3.1.3 stockTrade

stockTrade(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示逐笔成交数据的日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。

详情

创建一天的逐笔成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。

例子

tradeData = stockTrade(tradeDate=2020.01.06, securityNumber=10)

3.1.4 stockMinuteKLine

stockMinuteKLine(startDate, endDate, securityNumber)

参数

  • startDate：DATE 类型的标量，表示分钟 K 数据的起始日期。
  • endDate：DATE 类型的标量，表示分钟 K 数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。

详情

创建指定时间范围内分钟 K 线数据，并以表的数据形式返回。交易的起始日期通过 startDate 指定，交易的结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定。

例子

minuteKLineData = stockMinuteKLine(startDate=2020.09.05, endDate=2021.01.07, securityNumber=10)

3.1.5 stockDailyKLine

stockDailyKLine(startDate, endDate, securityNumber)

参数

  • startDate：DATE 类型的标量，表示日 K 数据的起始日期。
  • endDate：DATE 类型的标量，表示日 K 数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。

详情

创建指定时间范围内的日 K 线数据，并以表的数据形式返回。交易的起始日期通过 startDate 指定，交易的结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定。

例子

dailyKLineData = stockDailyKLine(startDate=2015.01.01, endDate=2021.01.30, securityNumber=1000)

3.2 期权数据

3.2.1 optionsSnapshot

optionsSnapshot(tradeDate, instrumentNumber)

参数

  • tradeDate：DATE 类型的标量，表示期权数据的日期。
  • instrumentNumber：INT 类型的标量，表示期权合约数量。

详情

创建一个单日的期权快照数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，期权标的数量通过 instrumentNumber 指定。

例子

optionsSnapshotData = optionsSnapshot(tradeDate=2020.01.06, instrumentNumber=14000)

3.3 期货数据

3.3.1 futuresSnapshot

futuresSnapshot(tradeDate, instrumentNumber)

参数

  • tradeDate：DATE 类型的标量，表示期货数据的日期。
  • instrumentNumber：INT 类型的标量，表示期货合约数量。

详情

创建一个单日的期货数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，期权标的数量通过 instrumentNumber 指定。

例子

FuturesData = futuresSnapshot(tradeDate=2020.06.01, instrumentNumber=2000)

3.4 银行间债券数据

银行间债券数据有 ESP 报价、ESP 成交、XBond 报价、XBond 成交类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。

3.4.1 ESPDepth

ESPDepth(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示银行间债券 ESP 报价数据的日期。
  • securityNumber：INT 类型的标量，表示银行间债券 ESP 标的数量。

详情

创建一个单日的银行间债券 ESP 报价数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 ESP 标的数量通过 securityNumber 指定。

例子

ESPDepthData = ESPDepth(tradeDate=2020.06.01, securityNumber=4000)

3.4.2 ESPTrade

ESPTrade(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示银行间债券 ESP 成交数据的日期。
  • securityNumber：INT 类型的标量，表示银行间债券 ESP 标的数量。

详情

创建一个单日的银行间债券 ESP 成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 ESP 标的数量通过 securityNumber 指定。

例子

ESPTradeData = ESPTrade(tradeDate=2020.06.01, securityNumber=3000)

3.4.3 XBondDepth

XBondDepth(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示银行间债券 XBond 报价数据的日期。
  • securityNumber：INT 类型的标量，表示银行间债券 XBond 标的数量。

详情

创建一个单日的银行间债券 XBond 报价数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 XBond 标的数量通过 securityNumber 指定。

例子

XBondDepthData = XBondDepth(tradeDate=2020.06.01, securityNumber=200)

3.4.4 XBondTrade

XBondTrade(tradeDate, securityNumber)

参数

  • tradeDate：DATE 类型的标量，表示银行间债券 XBond 成交数据的日期。
  • securityNumber：INT 类型的标量，表示银行间债券 XBond 标的数量。

详情

创建一个单日的银行间债券 XBond 成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 XBond 标的数量通过 securityNumber 指定。

例子

XBondTradeData = XBondTrade(tradeDate=2020.06.01, securityNumber=200)

3.5 因子库数据

因子库数据有各种频率因子数据类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。

3.5.1 dailyFactor

dailyFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的日频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

dailyFactorData = dailyFactor(startDate=2016.01.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)

上述代码会生成一个大小约为1.8GB，变量名为 dailyFactorData 的内存表。

3.5.2 halfHourFactor

halfHourFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的半小时频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

halfHourFactorData = halfHourFactor(startDate=2021.06.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)

上述代码会生成一个大小约为1.7GB，变量名为 halfHourFactorData 的内存表。

3.5.3 tenMinutesFactor

tenMinutesFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的十分钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

tenMinutesFactorData = tenMinutesFactor(startDate=2021.09.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)

上述代码会生成一个大小约为2.2GB，变量名为 tenMinutesFactorData 的内存表。

3.5.4 minuteFactor

minuteFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的分钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

minuteFactorData = minuteFactor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=100, factorNumber=100)minuteFactor

上述代码会生成一个大小约为1.5GB，变量名为 minuteFactorData 的内存表。

3.5.5 secondFactor

secondFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的秒钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

secondFactorData = secondFactor(startDate=2021.12.15, endDate=2021.12.31, securityNumber=50, factorNumber=10)

上述代码会生成一个大小约为2.6GB，变量名为 secondFactorData 的内存表。

3.5.6 level2Factor

level2Factor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的 Level-2 快照频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

level2FactorData = level2Factor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=50, factorNumber=10)

上述代码会生成一个大小约为1.5GB，变量名为 level2FactorData 的内存表。

3.5.7 tickFactor

tickFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的逐笔频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

tickFactorData = tickFactor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=50, factorNumber=10)

上述代码会生成一个大小约为8.6GB，变量名为 tickFactorData 的内存表。

3.5.8 futuresFactor

futuresFactor(startDate, endDate, securityNumber, factorNumber)

参数

  • startDate：DATE 类型的标量，表示因子数据的起始日期。
  • endDate：DATE 类型的标量，表示因子数据的结束日期。
  • securityNumber：INT 类型的标量，表示股票标的数量。
  • factorNumber：INT 类型的标量，表示因子数量。

详情

创建指定时间范围内的期货500ms频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。

例子

futuresFactorData = futuresFactor(startDate=2021.12.15,endDate=2021.12.31,securityNumber=50, factorNumber=10)

上述代码会生成一个大小约为10.6GB，变量名为 futuresFactorData 的内存表。

4. 库表生成函数说明

由于不同类型的金融数据具有不同的表结构，自行创建这些库表会非常繁琐。在该模块中，我们将提供针对不同数据类型的库表创建函数，以便用户更轻松地创建所需的库表。本模块的建库建表代码参考自 best_practices_for_partitioned_storage.md · 浙江智臾科技有限公司/Tutorials_CN - Gitee.com

4.1 股票数据

4.1.1 stockSnapShotPT

stockSnapShotPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储快照数据的数据库名。
  • tbName：STRING 类型的标量，表示存储快照数据的数据表名。

详情

创建存储快照数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = stockSnapShotPT("dfs://merge_TB", "merge_snapshotTB")

4.1.2 stockEntrustPT

stockEntrustPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储逐笔委托数据的数据库名。
  • tbName：STRING 类型的标量，表示存储逐笔委托数据的数据表名。

详情

创建存储逐笔委托数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = stockEntrustPT("dfs://merge_TB", "merge_entrustTB")

4.1.3 stockTradePT

stockTradePT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储逐笔成交数据的数据库名。
  • tbName：STRING 类型的标量，表示存储逐笔成交数据的数据表名。

详情

创建存储逐笔成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = stockTradePT("dfs://merge_TB", "merge_tradeTB")

4.1.4 stockMinuteKLinePT

stockMinuteKLinePT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储分钟 K 数据的数据库名。
  • tbName：STRING 类型的标量，表示存储分钟 K 数据的数据表名。

详情

创建存储分钟K数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = stockMinuteKLinePT("dfs://k_minute_level", "k_minute")

4.1.5 stockDailyKLinePT

stockDailyKLinePT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储日 K 数据的数据库名。
  • tbName：STRING 类型的标量，表示存储日 K 数据的数据表名。

详情

创建存储日 K 数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = stockDailyKLinePT("dfs://k_day_level", "k_day")

4.2 期货数据

4.2.1 futuresPT

futuresPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储期货数据的数据库名。
  • tbName：STRING 类型的标量，表示存储期货数据的数据表名。

详情

创建存储期货数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = futuresPT("dfs://ctp_futures", "futures")

4.3 期权数据

4.3.1 optionsPT

optionsPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储期权数据的数据库名。
  • tbName：STRING 类型的标量，表示存储期权数据的数据表名。

详情

创建存储期权数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = optionsPT("dfs://ctp_options", "options")

4.4 银行间债券

4.4.1 ESPDepthPT

ESPDepthPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储银行间债券 ES P报价数据的数据库名。
  • tbName：STRING 类型的标量，表示存储银行间债券 ESP 报价数据的数据表名。

详情

创建银行间债券ESP报价数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = ESPDepthPT("dfs://ESPDepth", "ESPDepthtable")

4.4.2 ESPTradePT

ESPTradePT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储银行间债券 ESP 成交数据的数据库名。
  • tbName：STRING 类型的标量，表示存储银行间债券 ESP 成交数据的数据表名。

详情

创建银行间债券ESP成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = ESPTradePT("dfs://ESPTrade", "ESPTradetable")

4.4.3 XBondDepthPT

XBondDepthPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储银行间债券 XBond 报价数据的数据库名。
  • tbName：STRING 类型的标量，表示存储银行间债券 XBond 报价数据的数据表名。

详情

创建银行间债券XBond报价数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = XBondDepthPT("dfs://XBondDepth", "XBondDepthtable")

4.4.4 XBondTradePT

XBondTradePT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储银行间债券 XBond 成交数据的数据库名。
  • tbName：STRING 类型的标量，表示存储银行间债券 XBond 成交数据的数据表名。

详情

创建银行间债券 XBond 成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = XBondTradePT("dfs://XBondTrade", "XBondTradetable")

4.5 因子库数据

4.5.1 dailyFactorPT

dailyFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储日频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储日频因子数据的数据表名。

详情

创建日频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = dailyFactorPT("dfs://dayFactorDB", "dayFactorTB")

4.5.2 halfHourFactorPT

halfHourFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储半小时频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储半小时频因子数据的数据表名。

详情

创建半小时频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = halfHourFactorPT("dfs://halfhourFactorDB", "halfhourFactorTB")

4.5.3 tenMinutesFactorPT

tenMinutesFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储十分钟频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储十分钟频因子数据的数据表名。

详情

创建十分钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = tenMinutesFactorPT("dfs://tenMinutesFactorDB", "tenMinutesFactorTB")

4.5.4 minuteFactorPT

minuteFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储分钟频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储分钟频因子数据的数据表名。

详情

创建分钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = minuteFactorPT("dfs://minuteFactorDB", "minuteFactorTB")

4.5.5 secondFactorPT

secondFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储秒钟频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储秒钟频因子数据的数据表名。

详情

创建秒钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = secondFactorPT("dfs://secondFactorDB", "secondFactorTB")

4.5.6 level2FactorPT

level2FactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储Level-2 快照频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储Level-2 快照频因子数据的数据表名。

详情

创建Level-2 快照频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = level2FactorPT("dfs://level2FactorDB", "level2FactorTB")

4.5.7 tickFactorPT

tickFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储逐笔频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储逐笔频因子数据的数据表名。

详情

创建逐笔频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = tickFactorPT("dfs://tickFactorDB", "tickFactorTB")

4.5.8 futuresFactorPT

futuresFactorPT(dbName, tbName)

参数

  • dbName：STRING 类型的标量，表示存储期货500ms频因子数据的数据库名。
  • tbName：STRING 类型的标量，表示存储期货500ms频因子数据的数据表名。

详情

创建期货500ms频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。

例子

t = futuresFactorPT("dfs://futuresFactorDB", "futuresFactorTB")

5. 应用示例

用户可以将第 3 节中生成的模拟数据，存入第 4 节所创建的数据库表，以 Level2 快照行情为例，代码如下：

use MockData

snapshotData = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)
t = snapShotPT("dfs://merge_TB", "merge_snapshotTB")
t.append!(snapshotData)

相应的金融数据可存入对应数据库表，Mock 数据生成函数与数据库表创建函数的对应关系如下：

数据生成函数数据库表创建函数
1stockSnapshotstockSnapShotPT
2stockEntruststockEntrustPT
3stockTradestockTradePT
4stockMinuteKLinestockMinuteKLinePT
5stockDailyKLinestockDailyKLinePT
6optionsSnapshotoptionsPT
7futuresSnapshotfuturesPT
8ESPDepthESPDepthPT
9ESPTradeESPTradePT
10XBondDepthXBondDepthPT
11XBondTradeXBondTradePT
12dailyFactordailyFactorPT
13halfHourFactorhalfHourFactorPT
14tenMinutesFactortenMinutesFactorPT
15minuteFactorminuteFactorPT
16secondFactorsecondFactorPT
17level2Factorlevel2FactorPT
18tickFactortickFactorPT
19futuresFactorfuturesFactorPT

6. 常见问题

6.1 创建数据库表时报错：CacheEngineOOM

执行数据插入数据库表的代码后可能会出现 CacheEngineOOM 的问题，示例代码如下：

minuteKLineData = genStockMinuteKLine(startDate=2020.01.01, endDate=2020.06.30, securityNumber=2000)
t = createMinuteKLineTable("dfs://MinuteK", "MinuteK")
t.append!(minuteKLineData)

报出如下错误：

::append!(t, minuteKLineData) => [appendDFSTablet] parallel execution of save table failed with error msg: ChunkCacheEngine is out of memory, possibly due to a transaction that tries to write data larger than the available memory.

解决方法：

  • 方法一：减小一次写入的数据量。
  • 方法二：增大 CacheEngine 的大小。可以调用 setOLAPCacheEngineSize 在线增大 OLAP Cache Engine 的容量，需要注意同时修改配置项 OLAPCacheEngineSize，否则重启后在线修改的容量会失效。

6.2 查询数据库时报错：The query is too large

执行查询数据库表的代码后可能会出现查询分区数量过多的问题，示例代码如下：

temp = select top 100 * from loadTable(db_path, tb_name)

报出如下错误：

The number of partitions [880900] relevant to the query is too large. Please add more specific filtering conditions on partition columns in WHERE clause, or consider changing the value of the configuration parameter maxPartitionNumPerQuery.

解决方法：

  • 方法一：查询时通过 WHERE 语句减少查询涉及的分区数量。
  • 方法二：增大单个查询语句可查找的最大分区数，系统默认值是 65536，可以通过参数 maxPartitionNumPerQuery 进行配置并在重启后生效。

6.3 模拟数据生成返回0行记录

成功执行模拟数据生成函数后，返回的结果表里仅有0行记录，示例代码如下：

snapshotData = stockSnapshot(tradeDate=2020.01.05, securityNumber=10)
select * from snapshotData

2020.01.05 为非交易日。本模块仅生成交易日的数据，当输入日期为非交易日时，会返回空数据表。交易日通过交易日历进行获取，且默认使用上交所交易日历。

解决方法：

  • tradeDate 填入真实的交易日。

6.4 创建分布式数据库表时报错

执行创建数据库表的代码后可能会出现无法写入一个已经存在的数据库的问题，示例代码如下：

t = ESPDepthPT("dfs://merge_TB", "merge_TB")

报出如下错误：

MockData::ESPDepthPT: db = database(newdbName, VALUE, 2022.06.01 .. 2023.01.01, , "TSDB") => It is not allowed to overwrite an existing database.

解决方法：

建议使用其他名字或者删掉该数据库再创建该数据库表。


删除指定数据库的代码如下：

dropDatabase("dfs://merge_TB")

检查指定数据库是否存在的代码如下：

existsDatabase("dfs://merge_TB")

附录

MockData

DolphinDB智臾科技
关注
专栏目录
博客
股基归因干货分享丨基于 DolphinDB 的 Brinson 绩效归因模型实践
11-01 959
Brinson 模型是一种基于持仓数据对基金业绩进行归因的工具，能够对单期或多期的基金超额收益来源进行详细分解。它通过分析基金具体的持仓信息，将基金当期的收益分解为不同的效应，从而对组合的损益来源有更明确的认识。因此，本文实现了一个更为通用的 Brinson 模型，可用于混合型基金中，用户可以灵活地选择归因方式，单期或者多期归因，以及每个大类资产组合中的归因信息。
博客
新版本发布丨向企业级实时计算平台迈进！支持存算分离、FICC 函数库大更新！
10-25 964
DolphinDB 原有的时序聚合引擎支持用户指定窗口和步长，在计算时通过下一个窗口的首条数据触发前一个窗口的计算。然而，在某些场景下（例如由 1 分钟 K 线合成 5 分钟 K 线），这一方式可能会带来较高的计算延迟。为解决这一问题，最新版本引入了，用户可以通过参数 timeCutPoints。
博客
CEP 复杂事件处理引擎进阶：股票中高频 CTA 策略实现与并行回测
10-17 995
今天将为大家介绍如何基于 CEP 引擎实现一个股票 CTA 策略，并使用真实市场数据进行回测 ，同时实现股票技术指标和买卖信号的实时可视化。此外，我们能还将进一步介绍如何在 CEP 引擎中实现并行的参数寻优，以最大程度地接近真实的使用场景。快点击学习吧~！
博客
基于车联网大数据平台的用户驾驶习惯行为画像分析
08-15 1259
车联网系统中，利用大数据对驾驶行为进行研究，有助于了解驾驶员的特征，并提供优化建议。本文从用户驾驶行程中的速度偏好、驾驶风格、熟练度三个方面描述用户画像，并介绍如何使用 DolphinDB 基于 K-means 算法的聚类模型生成用户画像与个性化标签，完成数据存储、处理、特征提取、模型构建及预测等全过程。
博客
DolphinDB 回测平台使用攻略（内含性能优化 tips）
11-12 819
DolphinDB 回测引擎除了使用 C++ 代码提升性能外，还支持使用 JIT 技术，提升策略事件回调函数的运行效率。我们从策略编写的角度出发，为大家整理了回测平台的使用技巧、以及开启 JIT 优化后的策略编写注意事项。建议收藏~
博客
数据库管理新搭档：与 DBeaver 成功集成，操作体验大大升级！
11-12 330
DBeaver 24.1.3 版本已正式引入了对 DolphinDB（需 3.0 版本并启用 catalog）的支持，共同为用户提供更加高效、易用的数据处理与分析解决方案！
博客
DolphinDB 与南方科技大学联合授课啦！
11-06 941
南方科技大学商学院与 DolphinDB 联合举办高校课程讲座！
博客
策略回测工具大比拼：哪个又快又好用？
11-05 780
VNPY、功夫量化、Backtrader、MetaTrader4……与市面上这么多流行的回测产品相比，DolphinDB 回测引擎的实际性能与功能如何呢？
博客
新一代资管平台建设的实践与探索
11-01 639
当前，资管行业正积极探索如何将前沿技术与业务实践相结合，以实现服务的个性化、产品的创新化和运营的高效化。这一转型不仅为投资者带来了更加精准和高效的服务，也为资管机构自身带来了业务模式和运营方式的革新。随着数智化转型的不断深入，资管行业将迎来更加广阔的发展前景。
博客
创新业态下金融头部机构在 FICC 平台建设上的思考与实践
10-25 1104
他提到了波动率的重要性，并强调了数字化科技在增强交易策略中的作用，以及在国债期货和证券交易中应用这些策略的重要性。最后，周先生还探讨了市场波动率的变化，并针对近期市场环境的波动提出了对波动率预测的新思考，鼓励与会者分享在这一领域的见解和启发。目前，该系统已成功实现多市场、多频次的跨柜台监控，能够支持多种资产的定价模型，自动化报价，并管理订单状态。在数据存储场景中，DolphinDB 为团队提供了一个灵活的存储架构，使得海量的交易数据能够得到高效的存储和管理，并在后续的分析过程中展现出强大的计算能力。
博客
DolphinDB 2024 年度峰会回顾之分论坛：权益类数字基建与技术创新
10-17 797
行业嘉宾精彩观点，即刻分享！
博客
债基收益拆解丨基于 DolphinDB 的 Campisi 绩效归因模型实践
10-11 1032
对于债券基金而言， Campisi模型考虑了债券的特征和特殊风险，将债券收益分解为收入、国债、利差和择券四种效应，可以更清晰地解释债券基金收益来源。为了帮助大家快速计算 Campisi 结果，进一步优化组合以实现更高的投资回报，我们基于 DolphinDB 实现了 Campisi 算法，并将其封装成函数。阅读全文，详细了解 Campisi 模型业绩归因原理 & 对应函数在 DolphinDB 的实现步骤！
博客
「年度峰会回顾」DolphinDB 2024 新功能发布亮点速览
09-20 1126
中高频策略回测插件、因子开发管理平台、PySwordfish……DolphinDB 即将发布的新功能都有哪些呢？赶紧来一睹为快吧！
博客
视频回放 | DolphinDB 2024 年度峰会主会场演讲精彩回顾
09-12 854
点击即看👉“以实时，见未来” DolphinDB 2024 年度峰会主会场全程演讲视频！
博客
掌握 DolphinDB，从这本书开始！《DolphinDB 从入门到精通之数据分析》正式出版
09-11 502
《DolphinDB 从入门到精通之数据分析》书籍出版啦！本书不仅介绍了如何使用 DolphinDB 进行数据分析实践，还提供了大量金融和物联网等场景的实践案例，即使是零基础的读者，也能通过学习本书，快速上手实践。欢迎大家前往官网购书、查看代码和配套习题~
博客
“跨越数据边界：企业级实时计算平台构想”——2024 DolphinDB 年度峰会演讲回顾
09-11 1181
DolphinDB 创始人周小华博士在“以实时，见未来” 2024 DolphinDB 年度峰会上的精彩演讲已送达～快来看看吧~
博客
以实时，见未来——DolphinDB 2024 年度峰会圆满举办
09-09 1132
回顾精彩瞬间，来看看大家在这场大会上都聊了啥~
博客
Debezium+Kafka：Oracle 11g 数据实时同步至 DolphinDB 运维手册
09-02 1992
之前为大家介绍了如何通过 Debezium 与 Kafka 的组合实现从 Oracle 11g 到 DolphinDB 的数据同步。由于该过程涉及到多个程序的部署，而且具体的 Source 同步任务和 Sink 同步任务还需要额外管理，在运维上具有一定难度，因此我们推出了续篇，详细介绍该数据同步场景的运维操作，欢迎点击了解！
博客
更高效、更灵活的策略回测新体验？这份白皮书请收好！
08-29 707
1. DolphinDB 策略回测白皮书现已上线官网「开发者中心」2. 模拟撮合引擎插件与回测插件均已入驻官网「插件市场」，欢迎购买试用！
博客
K 线图快速绘制教程：使用 KLineChart 展示 DolphinDB K 线
08-29 1469
KLineChart 是一款开源、简单易用、适用场景丰富的 Web 前端金融图表，可以用于渲染金融K线图 ，同时支持多种数据源，提供了丰富的交互功能以及指标计算接口。我们利用 DolphinDB JavaScript API 提供的脚本执行和流订阅等接口，实现了与 KLineChart 前端工具的对接。现在大家可以在 KLineChart 中读取 DolphinDB 中存储的 K 线数据，快速绘制前端 K 线图~具体实现请参考教程！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值