DolphinDB +机器学习，预测地震波形数据

已于 2023-12-26 09:44:23 修改
阅读量1.8k 收藏 3
点赞数
分类专栏： 物联网 文章标签： 机器学习 深度学习 数据库 大数据 物联网
于 2023-06-15 13:59:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41996852/article/details/131226420
版权

1. 地震波形数据预测业务场景说明

在地震波形数据异常检测场景中，通常需要使用多种工具和方法来提高检测精度和鲁棒性。其中，FilterPicker 是一种常用的基于模板匹配的异常检测工具，可以实现地震波形数据的实时异常检测和定位。FilterPicker 需要进行预处理，如噪声过滤、信号增强等，然后根据预设的模板和阈值进行匹配和检测，最后输出异常检测的结果和位置信息。

虽然 FilterPicker 可以快速、准确地检测地震波形数据中的异常信号，但其精度和稳定性仍然受到多种因素的影响，例如噪声干扰、模板选择等。为了提高异常检测的精度和鲁棒性，可以使用深度学习算法进行进一步的检测和预测。相比传统的基于规则和模板匹配的方法，深度学习算法具有更好的适应性和泛化性能，可以处理更复杂的地震波形数据，并减少人为干扰和误判的风险。

综上所述，业界在地震波形数据异常检测场景中，通常是先使用 FilterPicker 进行一级异常检测，若有异常点，则进一步使用深度学习的方法进行更加精确的检测。

2. 波形数据异常检测相关算法介绍

2.1 模板匹配算法

模板匹配算法是一种基于信号相似性的匹配算法，主要利用信号处理中的相关性来进行模板匹配。

在模板匹配算法中，需要先定义一个待匹配信号，即需要被检测的信号。然后，构造一个模板，模板是一种已知特征的信号，其特征可以用来描述所要匹配的目标。模板通常是人为制定的，可以根据需要来选择和设计。

模板匹配的核心是通过计算信号之间的相关系数来比较待匹配信号和模板之间的相似度。相关系数是一种用于描述两个信号相似度的指标。在信号处理中，一般使用互相关函数（cross-correlation）来计算相关系数。

对于两个长度为 N 的信号 X 和 Y，它们的互相关函数可以表示为：

其中 m 为滞后值，R(m) 表示 X 和 Y 之间在滞后值为 m 时的相关性。

通过计算待匹配信号与模板之间的相关系数，可以得到一个相关系数序列，序列中的每个元素对应于待匹配信号中的一个位置。相关系数序列中的极值通常被认为是匹配信号和模板之间的最佳位置，因此可以用来检测待匹配信号中是否存在与模板相似的部分。

然而，模板匹配算法存在一些限制，如噪声、干扰等因素的影响，以及模板匹配在多维空间中的复杂性等。因此，在实际应用中，需要针对具体问题选择合适的算法和参数，并进行优化和改进。

2.2 线性趋势去除算法

在地震信号处理中，线性趋势去除的基本思想是将信号的趋势部分表示成一个线性函数的形式，并通过拟合线性函数来计算趋势。由于线性函数的参数可以通过最小二乘法求解，因此这种方法具有计算简单、易于实现等优点。具体而言，线性趋势去除的过程可以分为以下几个步骤：

step1：计算信号的时间序列 t 和信号值序列 x 的均值和，即：

其中，N 表示信号的长度。

step2：计算信号值序列相对于均值的偏差 Δxi 和时间序列相对于均值的偏差 Δti。

step3：用最小二乘法拟合一条直线，使得它尽可能地接近信号值序列 Δx，即：

其中，a 和 b 是拟合直线的斜率和截距，εi 是误差项。

step4：计算拟合直线的值 yi，即：

step5：将信号的趋势部分去除，得到去趋势后的信号，即：

2.3 sosBandpass 算法

sosBandpass 是一种数字信号处理算法，用于对地震数据进行带通滤波。其原理是使用一组二阶 IIR 滤波器级联，实现对地震数据在指定频率范围内的滤波，同时保留原始信号的相位信息。

具体地，sosBandpass 算法使用了一组二阶 IIR 滤波器级联的结构，也称为“串联二阶段滤波器”（Second-Order Sections Filter，SOS Filter）。每个二阶 IIR 滤波器的传递函数可以表示为：

其中 z 是单位圆上的复变量，b0 b1, b2, a1, a2 是滤波器的系数。通过调整这些系数的值，可以实现不同类型的滤波器，例如低通滤波器、高通滤波器和带通滤波器等。

对于一个带通滤波器，其通带范围可以表示为 [flow, fhigh]，其中 flow 和 fhigh 分别表示低频和高频截止频率。在 sosBandpass 算法中，通带范围被分成若干个子段，每个子段对应一个二阶 IIR 滤波器。假设通带范围被分成了 N 个子段，那么 sosBandpass 算法可以表示为：

其中 x[n] 表示原始地震数据，y[n] 表示滤波后的地震数据。设 Hi(z) 表示第 i 个二阶 IIR 滤波器的输出，可以表示为：

其中，bi,0 ，bi,1，bi,2，ai,1， ai,2 是第 i 个二阶 IIR 滤波器的系数。

3. DolphinDB解决方案

  • 实时流接入：流数据表是 DolphinDB 设计专门用于应对实时流数据存储与计算的内存表。具备吞吐量大，低延迟的优点，支持持久化，支持高可用。
  • 流数据发布、订阅与消费：DolphinDB 流数据模块采用“发布-订阅-消费”的模式。流数据首先注入流数据表中，通过流数据表来发布数据，数据节点或者第三方的应用可以通过 DolphinDB 脚本或 API 来订阅及消费流数据。
  • FilterPicker 插件：FilterPicker 是一种自动地震信号检测工具，可以从大量地震数据中自动检测和识别地震信号。它主要应用于地震预警、地震监测、地震研究等领域。DolphinDB 开发了对应的 FilterPicker 插件，根据该插件，可在 DolphinDB 内调用模板匹配算法，实现对地震波数据的处理，输出其中的突峭点。
  • RTSeis 插件：RTSeis 是一个基于 Python 的实时地震数据处理包，包括地震数据的读取、处理、滤波、台阵响应的移除和地震事件检测等。DolphinDB 开发了对应的 RTSeis 插件，根据该插件，可以对波形数据进行 sosBandPass 滤波处理。
  • TensorFlow 插件：用户可以使用 TensorFlow 框架将训练好的模型导出成 .pb 文件，在 DolphinDB 中通过 TensorFlow 插件调用该模型进行预测。

技术架构图中，DolphinDB 流数据表接收外部地震计产生的实时流数据，调用 FilterPicker 插件中的模板匹配算法对实时数据进行一级异常检测，对于异常点，先进行去趋势、滤波处理，再将结果归一化，最后调用 TensorFlow 插件进行预测，输出异常检测结果。

4. 环境准备

本节主要内容为加载插件、创建流数据表等，是后续波形实时数据模拟、异常检测的前备工作。

4.1 加载插件

为实现波形数据异常检测，DolphinDB 开发了对应的插件，见附录（目前只提供离线版，插件正式发布后会提供下载链接）。下载插件，在 plugins 目录下建立 filterpicker、rtseis、tf 三个文件夹，将插件解压到对应的文件夹里。

注意：添加环境变量前需关闭 DolphinDB Server。

Linux 添加环境变量：

export LD_LIBRARY_PATH=<YOUR DolphinDB Dir>/server/plugins/rtseis/:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=<YOUR DolphinDB Dir>/server/plugins/tf/:$LD_LIBRARY_PATH

启动 DolphinDB Server，通过 loadPlugin() 函数加载插件

try{ loadPlugin("./plugins/filterpicker/PluginFilterPicker.txt") }catch(ex){print(ex) }
try{ loadPlugin("./plugins/rtseis/PluginRTSeis.txt") }catch(ex){print(ex) }
try{ loadPlugin("./plugins/tf/PluginTf.txt") }catch(ex){print(ex) }

4.2 流数据表环境清理

清理流数据表之前需要取消订阅，通过 unsubscribeTable() 函数取消订阅，然后再通过 dropStream() 函数删除流数据表：

unsubscribeTable(tableName = "dataStream", actionName="filterPickerPredict");go
unsubscribeTable(tableName = "pickerStream",actionName="tensorFlowPredict");go
try{dropStreamTable("dataStream")}catch(ex){print(ex)}
try{dropStreamTable("pickerStream")}catch(ex){print(ex)}
try{dropStreamTable("tensorStream")}catch(ex){print(ex)}

以 enableTableShareAndPersistence() 函数创建流数据共享表并持久化：

  //dataStream，接收波形实时流数据
enableTableShareAndPersistence(table=streamTable(1000000:0, `tagid`ts`data, [INT,TIMESTAMP, INT]), tableName=`dataStream, cacheSize=1000000);
  //pickerStream
enableTableShareAndPersistence(table=streamTable(100000:0, `ts`id, [TIMESTAMP,INT]), tableName=`pickerStream, cacheSize=1000000);
  //tensorStream
enableTableShareAndPersistence(table=streamTable(100000:0, `ts`id, [TIMESTAMP, INT]), tableName=`tensorStream, cacheSize=1000000);

创建分布式数据库和维度表：

if(existsDatabase("dfs://seis01")) dropDatabase("dfs://seis01");
  //创建分布式数据库
create database "dfs://seis01" partitioned by VALUE(1..10), engine='TSDB'
  //创建维度表
create table "dfs://seis01"."tagInfo"(
	xfdsn SYMBOL,
	net SYMBOL,
	sta SYMBOL,
	loc SYMBOL,
	chn SYMBOL,
	id INT[compress="delta"]
)
sortColumns=[`id];
  //向维度表插入数据
net = ["ZJ","YN","XZ","XJ","TJ"]
sta = ["A0001","A0002","A0003","A0004","A0005","A0006","B0001","B0002","B0003","C0001"]
tmp = `EIE`EIN`EIZ
netList = stretch(net,150)
staList = take(stretch(sta,30),150)
locList = take(`40,150)
chn = take(tmp,150)
colt =   array(STRING)
for(i in 0..(chn.size()-1)){
	colt.append!( chn[i].split()[0] + "_" + chn[i].split()[1] + "_" +chn[i].split()[2] )
}
xfdsn = "XFDSN:"+netList+"_"+staList+"_"+locList+"_"+colt
t = table(xfdsn,netList as net,staList as sta,locList as loc,chn,1..150 as id)
loadTable( "dfs://seis01","tagInfo").append!(t);

5. 方案实现

本章包括以下内容

  • 波形实时数据模拟
  • 一级异常检测
  • 二级异常检测

5.1 波形实时数据模拟

实际生产环境中每个通道每10毫秒采集一次数据，每个台站有三个通道。以下代码模拟了三个台站的波形实时数据：

/*
 * 模拟实时数据
 */
def insertIntoDataStream(){
	do{
		tagidList = 1 2 3 4 5 6 7 8 9
		ts = now()+(0..400)*10
		t = table(stretch(tagidList,3600)as tagid,take(ts,3600) as ts,randNormal(-2500, 1000, 3600) as data)
		objByName(`dataStream).append!(t)
		sleep(3500)
	}while(true)
}
jobId = submitJob("simulate","simulate",insertIntoDataStream);
//通过以下方式取消Job
//cancelJob(jobId)

5.2 一级异常检测

通过 subscribe() 函数订阅实时数据，进行一级异常检测，处理逻辑及代码如下所示：

step1：将实时数据按照 tagid 分组

step2：对每一 tagid，调用 filterPicker::createFilterPicker() 函数创建 filter handler

step3：调用 filterPicker::filerPicker(pickerPtr, timeCol, dataCol, [fixedSize]) 函数进行模板匹配，得到突峭点。其中，各个参数含义如下所示：

  • pickerPtr：每一 tagid 对应的 filter handler；
  • timeCol：每一 tagid 对应的时间列；
  • dataCol：每一 tagid 对应的采样值；
  • fixedSize：批计算数据量大小，若数据不足 fixedSize，会累积到下次凑足 fixedSize 再进行计算

其中，突峭点算法参考 ALomax - FilterPicker - a general purpose, broad-band, phase detector and picker

/*
 *一级异常检测处理函数
 *计算波形实时数据中的突峭时间点
 *返回值为突峭时间点和通道id
 */
def pickerHandler(mutable pickerSt, mutable res, vz, msg){
	tags=groups(msg[`tagid]) //按tagid分组
	for (tag in tags.keys()){
		re=res[tag]
		if(re==NULL){
			//创建filter handler
			re= filterPicker::createFilterPicker()
			res[tag]=re
		}
		//将数据传入filterPicker进行计算
		vt=filterPicker::filterPicker(re,msg[tags[tag]][`ts], msg[tags[tag]][`data].float(), 1000)
		if(vt.size()>0){
			vid=take(tag,vt.size())
			pickerSt.append!(table(vt as ts,vid as id))
		}
	}
}

vz=exec id from loadTable("dfs://seis01","tagInfo") where chn ilike("%z") //只需要计算Z分量的数据
res=dict(INT, ANY)
//订阅dataStream，进行一级异常检测，异常检测结果输出到filterStream中
subscribeTable(tableName = "dataStream", actionName="filterPickerPredict", offset=-1,handler=pickerHandler{objByName("pickerStream"), res, vz, }, msgAsTable=true, batchSize = 2000, throttle=1,reconnect=true)

一级异常检测结果样例如下所示：

tsid
2023.04.20T14:37:57.8381

上述异常时间点前后几秒内的采样数据如下：

tagidtsdata
………
12023.04.20T14:37:57.797-3120
12023.04.20T14:37:57.807-3005
12023.04.20T14:37:57.818-521
12023.04.20T14:37:57.828-3886
12023.04.20T14:37:57.8381441
12023.04.20T14:37:57.8481220
12023.04.20T14:37:57.858-974
12023.04.20T14:37:57.868-396
12023.04.20T14:37:57.878-943
………

从采样数据来看，“2023.04.20T14:37:57.838”时间点前后振幅明显变大，确实是一个突峭点。

5.3 二级异常检测

通过 subscribe() 函数订阅 pickerStream，进行去趋势、滤波、归一化以及二级异常检测，处理逻辑及代码如下所示：

step1：调用 tf::load(modelFileName, inputName, outputName, [shape]) 函数导入训练好的 TensorFlow 模型（本文使用的深度学习模型不方便对外提供，读者需自行训练模型并调用）。其中各参数含义如下：

  • modelFileName：模型路径。如果是 keras 生成的 h5 格式的模型文件，可用 Keras to TensorFlow 将 h5 格式的模型文件转成 TensorFlow 的 pb 文件后再进行加载。
  • inputName：模型中输入节点名称，如果不知道，可用附录的 printTensorName.py 文件进行打印，输出的第一个即为输入节点名称。
  • outputName：模型中输出节点名称，如果不知道，可用附录的 printTensorName.py 文件进行打印，输出的最后一个即为输出节点名称。
  • shape：N 维 (N>=3) 数组的 shape，当 N>=3 时才需要提供，类型为 int 类型的 vector，如[3, 5, 8]表示 shape 为3×5×8。如果提供了 shape，后面用于预测的 data 请使用 flatten(x) 函数转成的一维向量。

step2：提取突峭点前后两秒内三分量数据

step3：剔除趋势成分(本文将趋势视为线性的，采用最小二乘法估计线性函数的参数)

step4：调用 rtseis::sosBandPass(x, nTaps, f_min, f_max, windowType, fsamp, ripple) 函数对三通道数据进行 sosBandPass 变换。其中，各个参数含义如下所示：

  • x：需要处理的数据
  • nTaps：筛选器参数
  • f_min：最低频率
  • f_max：最高频率
  • windowType：窗口类型，0-3分别代表 BUTTERWORTH，BESSEL，CHEBYSHEV1，CHEBYSHEV2
  • fsamp：采样频率
  • ripple：windowType 为2或3时的波纹大小

step5：先对滤波数据进行归一化处理，然后调用 tf::predict(model, data) 函数进行预测，当预测概率 prob_P 或者 prob_s 的概率大于0.9时，认为该段信号很可能是地震波 P 波或者 S 波信号，然后输出对应的 filterpicker 的突峭点。其中，tf::predict(model, data) 各参数含义如下所示：

  • model：tensorflow 的 model，为 tf::load() 函数的返回值
  • data：需要预测的数据，仅支持同种数据类型的 matrix、vector、table 或者 dictionary。如果在 tf::load() 时提供了 shape 参数，则 data 必须为使用 flatten(x) 函数转成的一维向量。
def tensorHandler(mutable tensorSt, mutable infoTable, mutable model, mutable cache, msg){
	if(msg.type()!=0) cache.append!(msg)	
	if(cache.size()==0) return
	currTime = now() - 2000
	outed = select * from cache where timestamp  < currTime
	for(s in outed){
		//获取同个台站id信息
		info = select net,sta,loc from infoTable where id == s[`id]
		netInfo = info[`net][0]
		staInfo = info[`sta][0]
		bhzInfo = info[`loc][0]
		bheId = exec id from infoTable where net == netInfo and sta == staInfo and loc == bhzInfo and ilike(chn,"%e")
		bhnId = exec id from infoTable where net == netInfo and sta == staInfo and loc == bhzInfo and ilike(chn,"%n")
		bhzId = exec id from infoTable where net == netInfo and sta == staInfo and loc == bhzInfo and ilike(chn,"%z")
		//获取三个分量数据
		begT = timestamp(s[`timestamp] - 2000)
		endT = timestamp(s[`timestamp] + 1999)
		ve = exec data from dataStream where tagid ==bheId[0] and ts between(begT:endT)
		vn = exec data from dataStream where tagid ==bhnId[0] and ts between(begT:endT)
		vz = exec data from dataStream where tagid ==bhzId[0] and ts between(begT:endT)
		if(ve.size()==  400 && vn.size() ==  400 && vz.size() ==  400) {
			//去趋势
			tem = ols(vn, 0..399)
			bhn = vn - (tem[0] + tem[1]*0..399)
			tem = ols(ve, 0..399)
			bhe = ve - (tem[0] + tem[1]*0..399)
			tem = ols(vz, 0..399)
			bhz = vz - (tem[0] + tem[1]*0..399)
			//滤波
			bhn = rtseis::sosBandPass(bhn,4,3.0,20.0,0,100.0,0.0);
			bhe = rtseis::sosBandPass(bhe,4,3.0,20.0,0,100.0,0.0);
			bhz = rtseis::sosBandPass(bhz,4,3.0,20.0,0,100.0,0.0);
			m = matrix(bhn,bhe,bhz)
			//矩阵数据归一化
			m1 = m / max(max(abs(m)))
			//输入模型进行预测, ts返回值为预测结果
			ts = tf::predict(model, float(m1))
			//prob_p 是P波的概率，prob_S是S波概率, prob_N是噪声的概率。
			prob_P = ts[0]
			prob_S = ts[1]
			prob_N = ts[2]
			if(prob_P > 0.90 || prob_S > 0.90){
				tensorSt.append!(table(s[`timestamp] as timestamp, s[`id] as id))
			}	
		 }
	}
	delete from cache where timestamp  < currTime	
}

  //导入模型
model = tf::load("./model_pol.pb", "conv1d_1_input", "activation_7_1/concat")
infoTable = select * from  loadTable("dfs://seis01","tagInfo")
vz=exec id from loadTable("dfs://seis01","tagInfo") where chn ilike("%z") //只需要计算Z分量的数据
cache =   table(10:0, `timestamp`id, [TIMESTAMP, INT])
  //订阅pickerStream，进行二级异常检测
subscribeTable(tableName = "pickerStream",actionName="tensorFlowPredict", offset=-1, handler=tensorHandler{objByName("tensorStream"),infoTable, model,cache,}, msgAsTable=true, batchSize = 1000, throttle=0.4, timeTrigger=true,reconnect=true)

对一级异常检测的结果进行二级异常检测后，结果样例如下表所示：

tsid
2023.04.20T14:37:57.8381

6. 附录

插件及脚本文件

表结构

维度表结构：

字段DolphinDB 数据类型含义
xfdsnSYMBOL
netSYMBOL台网
staSYMBOL台站
locSYMBOL位置
chnSYMBOL通道
idINT

dataStream 表结构：

字段名DolphinDB 数据类型含义
tagidINT维度表中的 id，代表一个通道
tsTIMESTAMP采样时间
dataINT采样值

pickerStream 表结构：

字段DolphinDB 数据类型含义
tsTIMESTAMP采样时间
idINT维度表中的 id，代表一个通道

tensorStream 表结构：

字段DolphinDB 数据类型含义
tsTIMESTAMP采样时间
idINT维度表中的 id，代表一个通道
DolphinDB智臾科技
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
博客
策略回测从2小时提速到1分钟，DolphinDB 助力华夏基金量化投研
09-07 2515
华夏基金对市面上多家数据库进行调研测试，从性能、语言学习成本和技术服务等多方面进行综合考量，最终选择高性能时序数据库 DolphinDB。本文将分享华夏基金使用 DolphinDB 的业务实践。
博客
云边协同：DolphinDB 构建一体化振动监控与故障诊断解决方案
04-25 903
将 DolphinDB 部署在边缘端，可以赋予边缘设备强大的计算能力，满足边缘设备的数据处理需求~
博客
走进上海交大丨用 DolphinDB 开启你的量化交易职业生涯
04-25 333
除了讲座，DolphinDB 将联合高校，走进课堂，为高校学子带来一系列“术业结合”的优质课程，内容涵盖高频数据和因子存储、流批一体因子开发、多因子建模和推理（深度学习和回归方法）、高频回测和模拟撮合、各类资产 K 线计算、低延时交易系统构建和流计算引擎实践等，在带来更多优质资源与技术前沿分享的同时，也为行业培育更多精通金融数据分析与 DolphinDB 技术的专业人才。通过这节课的学习，同学们更好地理解了金融数据的来源与特性，为后续的数据分析和应用奠定了坚实基础。
博客
DolphinDB 公开课视频上线啦！
04-22 403
通过考试不仅能拿到闪亮的官方认证证书，还能在 DolphinDB 社区里大显身手，与其他高手密切交流切磋，分享见解，共同成长。为了更好地满足大家系统学习使用 DolphinDB、备考技能认证的热切需求，我们特别推出了一系列在线免费培训课程视频！课程共包含六个系列：数据库入门、流数据入门、数据分析入门、数据库进阶、流数据进阶与数据分析进阶。如果在学习过程中有疑问或需要进一步的帮助，欢迎在视频评论区留言或添加小助手微信（dolphindb1），将有专门的技术人员在线为您解答问题。：安装 DolphinDB。
博客
讲座回顾｜DolphinDB 携手上海高金共探量化前沿
04-22 265
周博士的讲座以一个简短有力的问题开场，围绕“如何高效存储和分析海量数据，更快发掘新的有效因子”这一行业重点问题，周博士详细分析了传统数据管理解决方案在数据存储、数据分析以及实时计算方面可能存在的短板与局限，并向大家分享了 DolphinDB 在为行业解决这些问题时，总结出的深刻经验。在讲座的最后，周博士介绍了量化行业的一些前沿技术课题与尝试，包括如何构建交易系统和量化垂直领域的 AI 应用，让与会者对行业发展动向和未来可能的需求领域有了更深入的实务了解。在量化投资中的重要地位，并深入讲解了如何利用。
博客
案例与脚本实践：DolphinDB 轻量级实时数仓的构建与应用
04-17 1237
随着大数据时代的来临，传统的离线数仓处理大规模实时数据的局限性日益凸显。今天为大家分享一个关于水电站发电机组设备实时监控的案例，介绍如何通过 DolphinDB 快速搭实时数仓，助力复杂业务场景下海量数据的低延时复杂指标计算和分析。文中还附有全套脚本，大家可以根据教程，结合自身业务特点，尝试动手搭建你的轻量级高性能的实时数据仓库！
博客
基于快照行情的股票/基金 1分钟 K 线合成指南
04-17 1009
通过此教程，你可以了解到：如何在 DolphinDB 中基于历史/实时快照行情数据，合成沪深北交易所股票和基金的1分钟 K 线。
博客
基于逐笔数据合成高频订单簿：DolphinDB 订单簿引擎
04-16 949
私戳后台申请试用！
博客
发布！DolphinDB 白皮书正式上线官网！
04-16 565
DolphinDB 数据库白皮书与 DolphinDB 流数据白皮书在官网上线啦！
博客
3.00 版本来了！DolphinDB V2.00.12 & V3.00.0 正式发布！
04-11 757
快点击文章查看详细介绍，动手试用新版本吧！
博客
低延时+高并发+强事务丨DolphinDB 交易型内存存储引擎 IMOLTP 使用指南
04-11 926
DolphinDB 设计并实现了一款自研的交易型内存存储引擎 IMOLTP，在省去磁盘 I/O 开销的同时，能够低延迟地响应高频度、高并发的更新和查询操作，点击文章了解如何使用！
博客
更高效、更简洁的 SQL 语句编写丨DolphinDB 基于宏变量的元编程模式详解
04-02 1318
DolphinDB V3.00.0 / 2.00.12 版本将支持更高效简洁的元编程方法——基于宏变量的元编程，点击原文了解如何使用~
博客
物联网行业中，我们如何选择数据库？
04-02 1029
时序数据库不仅是存储时序数据的媒介，更是对数据进行深刻理解的智能引擎，为我们提供了探索和解析复杂数据的工具。数据库，时序数据库在物联网行业有广泛的应用场景（如工业制造、能源电力、航空航天、智慧交通、设备健康、智能运维、医疗保健、零售业等），通过对海量时序数据进行分析预测，企业可以获得有价值的信息，从而做出更明智的决策，获得独特的竞争优势。5. 另外，时序数据库对于多变、动态的数据模型更为灵活，能够容纳不同类型和结构的时序数据，在设计上更加注重满足时序数据的特殊需求，以提供更高效灵活的存储和查询方案。
博客
对接中泰极速行情 | DolphinDB XTP 插件使用教程
03-29 1258
XTP 是中泰证券推出的高性能交易平台，专为专业投资者提供高速行情及交易系统，旨在提供优质便捷的市场接入通道。目前支持股票、基金、ETF、债券、期权等多个市场，可满足不同投资者需求。基于 XTP 官方 C++ SDK，#DolphinDB 开发了 XTP 插件，从而支持便捷高效地将 XTP 实时行情数据导入 DolphinDB，进行流计算处理及持久化存储。点击链接了解 DolphinDB XTP 插件使用详情！
博客
工业设备故障诊断解决方案 | 流数据实时采集、存储与回放
03-29 961
如何快速复现故障发生时刻场景？来看这篇
博客
DolphinDB 常见数据库错误代码大全
03-25 391
我们整理了 DolphinDB Server 中的异常以及关键错误信息，总结出了一份列表，包含上百个错误代码以及对应的错误原因，方便开发人员更迅速地定位并处理问题~ P.S. 错误代码会随着每一次版本发布而更新，收藏文中详情链接，下次查询不迷路~
博客
D-Day 杭州站｜基于量化高频数据的极速投研实践
03-25 916
他通过一组具体数据为我们分享了 DolphinDB 的性能优势：“在单因子多参数的计算任务中，使用 DolphinDB 替代 Python，我们平均能够。周博士指出：“在量化交易的各个环节，市场上涌现出众多开源产品，用户可以根据自身需求通过组装或自研的形式，实现特定环节的技术突破。DolphinDB 的引入，无疑为量化投研和交易都注入了新的活力，打破了技术栈割裂带来的业务壁垒，助力团队取得更加卓越的成绩。“在切换到 DolphinDB 后，肉眼可见，我们团队大幅提升了数据处理的效率，包括数据的。
博客
优化投资组合：DolphinDB 最优化求解系列函数应用指南
03-19 894
在金融量化领域的多因子模型中，组合权重优化起着至关重要的作用，其中组合权重优化的目标函数和目标函数相对应的约束条件，都是线性规划和非线性规划的重要应用问题。为了满足不同场景的需要，针对实际应用中不同的目标函数和约束条件建立的最优化模型，DolphinDB 提供了多个最优化求解函数，求解速率相比 Python 有显著提升。如果项目中已经使用了 gurobi ，亦可选择使用 DolphinDB 提供的 gurobi 插件，减少数据在软件架构中的传输与计算成本，提高整体求解的效率及降低上手难度。点击
博客
记录资源利用，监控查询操作丨DolphinDB 用户级别资源跟踪功能详解
03-19 920
这一功能使用户能够获取有关 CPU 和内存使用情况的详细信息，记录用户对分布式表发起的 SQL 查询次数以及读取表的行数和数据量大小等数据。通过这些信息，用户能够深入了解 DolphinDB 在系统中的行为，从而更好地优化操作，提升整体系统性能。本文将从等四个方面介绍如何使用 DolphinDB 用户级别的资源跟踪功能。
博客
对接华泰极速行情丨DolphinDB INSIGHT 插件使用教程
03-05 1163
华泰 INSIGHT 是华泰证券依托大数据存储、实时分析等领域的技术积累，整合接入国内多家交易所高频行情数据，为投资者提供集行情接入、推送、回测、计算及分析等功能于一体的 #行情数据 服务解决方案。基于 INSIGHT 官方提供的行情数据服务 C++ SDK（TCP 版本），DolphinDB 开发了能够获取市场行情数据的 INSIGHT 插件，帮助用户方便地通过 DolphinDB 脚本语言将实时行情数据接入 DolphinDB 进程中，以便进行后续的计算或存储。欢迎了解试用~

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值