【85 backtrader-cs因子测试的一些高级技巧】使用numba加速某些函数的计算

最新推荐文章于 2025-05-25 19:04:52 发布
最新推荐文章于 2025-05-25 19:04:52 发布
阅读量1.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 量化投资神器-backtrader源码解析-从入门到精通 文章标签： 数学建模 python numpy backtrader numba
本文为博主原创文章，转载请注明来源
本文链接：https://blog.csdn.net/qq_26948675/article/details/131039188
本文介绍了在backtrader-cs框架下，通过numba库加速因子计算的过程。针对性能分析中发现的瓶颈函数get_b和get_d，特别是rolling.apply中的DECAYLINEAR函数，应用numba进行优化，实现了约45倍的性能提升，显著缩短了因子参数优化所需的时间。

最近在使用cs框架跑一些因子参数优化的过程中，发现某些因子计算过程中耗费了大量的时间，经过性能分析发现时间耗费主要在于：
在这里插入图片描述

  1. 第一遍性能分析，发现backtrader初始化的时候需要一定的时间，这个看起来是可以避免的
    把一些因子回测使用到的模块剥离到单独的文件夹下面，重新运行之后，发现性能有所提升，初始化时候时间减少了6s左右

在这里插入图片描述

  1. 通过进一步分析发现，这个回测过程中主要占用时间的函数是get_b和get_d这两个计算过程，其实耗费时间最多的就是rolling.apply这个函数
  2. 所以这个优化的核心就是优化rolling.apply这个函数，更具体一点就是改进d = DECAYLINEAR(c, 11)这个函数的算法。在这个函数中，DECAYLINEAR这个函数是通过：
weights = np
了解本专栏 订阅专栏 解锁全文
backtrader实战：如何提高backtrader调试代码的速度
汇渊科技
07-20 1799
一种提高backtrader代码调试速度的解决方案，满篇都是技巧~~
如何提高backtrader调试代码的速度
TgpActionscript的博客
09-17 257
综上所述，通过使用日志输出、绘图工具和pdb等调试方法，我们可以提高backtrader调试代码的速度，快速定位问题并进行调试。这些方法都能够帮助我们更好地理解程序的执行过程，从而加速策略开发和错误修复的过程。语句，我们可以在指定位置触发pdb断点，然后逐行执行代码，并查看变量的值，从而帮助我们理解程序的执行流程。通过设置日志级别为DEBUG，我们可以在控制台中看到相应的调试信息，从而更好地理解程序执行过程。方法，我们可以得到策略的收益曲线图，并观察其走势，从而更好地理解策略是否存在问题。
使用pypy提升backtrader速度
qtbgo的博客
08-27 2098
backtrader作者在这篇博客里测试了使用pypy能够显著提升backtrader回测速度，至少节约一半时间。 作者看reddit论坛有人说backtrader处理不了160万k线。 作者用backtrader进行了如下测试： 1 数据 作者首先生成100支股票，每支生成20000根k线，这样总共有200万根k线，分别放在100个csv文件里。 2 测试平台 i7 cpu 32G内存， win10 比较了两个python 解释器：传统的CPython 3.6.1 和快速的pypy 3.6.0.0 3 策
python学习——解决在pandas和numpy上的rolling apply操作
m0_37876745的博客
10-14 5833
解决在pandas和numpy上的rolling apply操作
加速python代码运行
红叶谷 wsp_1138886114的博客
10-09 2171
Python 虽然写起来代码量要远少于如 C++,Java，但运行速度又不如它们，因此也有了各种提升 Python 速度的方法技巧，当我们对 Numpy 数组进行基本的数组计算，比如加法、乘法和平方， Numpy 都会自动在内部向量化，这也是它可以比原生 Python 代码有更好性能的原因。 Numba 是一个可以将 Python 代码转换为优化过的机器代码的编译库。用 Numba 库进行加速比...
【85 backtrader-cs因子测试的一些高级技巧-2】使用cython、c语言和c++加速某些函数的计算
云金杞
06-24 1285
中，使用了numba改进某些函数，实现加速，在这一篇文章中，尝试接着上一篇文章的主题，继续尝试用cython，c语言和c++尝试改进decayliear函数的计算速度。
OpenRA开源红色警戒游戏RPG源码WVec.cs解读
zhangzhechun的专栏
05-04 1119
WVec 结构详解与分析。
# Once you've implemented the gradient, recompute it with the code below # and gradient check it with the function we provided for you # Compute the loss and its gradient at W. loss, grad = svm_loss_naive(W, X_dev, y_dev, 0.0) # Numerically compute the gradient along several randomly chosen dimensions, and # compare them with your analytically computed gradient. The numbers should match # almost exactly along all dimensions. from cs231n.gradient_check import grad_check_sparse f = lambda w: svm_loss_naive(w, X_dev, y_dev, 0.0)[0] grad_numerical = grad_check_sparse(f, W, grad) # do the gradient check once again with regularization turned on # you didn't forget the regularization gradient did you? loss, grad = svm_loss_naive(W, X_dev, y_dev, 5e1) f = lambda w: svm_loss_naive(w, X_dev, y_dev, 5e1)[0] grad_numerical = grad_check_sparse(f, W, grad)
最新发布
08-16
然后，使用grad_check_sparse函数进行梯度检查，该函数会随机选择一些维度，比较数值梯度和解析梯度。 接着，在开启正则化（正则化强度为50.0）的情况下，再次进行梯度检查，确保正则化项的梯度也被正确计算。 ...
Python 金融量化：回测框架与案例讲解
Sapphire521的博客
05-25 332
Python 金融量化：回测框架与案例讲解
BackTrader：性能优化之多股策略速度优化
他人已歌的微博
08-19 3311
前言： 谈及BackTrader的回测速度优化，最常见的说法是从底层使用numpy等计算库来替换，但这种优化无疑非常新手不友好。因此本文着眼于如何最简单的优化多股情况下回测慢这一情况。考虑测试效率，本文使用100支股票回测。经过测试，优化后策略执行速度提升38%（62->38.4）。 策略描述： 前一天非一字涨停的股票进入候选池。 第二天10~11点若涨幅大于4%买入。 持仓股在14:30时若未涨停卖出。 V1策略及运行时间： v1代码设计思路： 使用5分数据进行交易，而使用日
Backtrader回测太慢怎么办？提速技巧大放送！
wencaitouzi的博客
05-02 935
说个真实案例：有个用户抱怨回测慢，我让他发来代码一看——好家伙，每次回测都重新下载10年历史数据！改成本地存储后，时间从30分钟降到47秒。是不是重复下载数据？有没有用多核？指标计算是否优化？如果还是搞不定，欢迎来我们营业部坐坐。开户送《Backtrader性能调优手册》（我亲自写的），还有量化交易专用服务器优惠。毕竟在A股这个战场，速度就是金钱啊！
python 加速方法_用 Python 做策略回测，耗时很长，有什么加速办法？
weixin_39596090的博客
12-11 428
刚刚优化完自己的策略和回测程序，正好来回答一下1，升级硬件，双路服务器架构，从i7-9700K 升级到双路金牌8180M性能大概能提高7-8倍性能。能用钱解决的问题真比优化代码简单暴力多了。2，使用 Parallel库和Ray库进行并行计算和分布式并行计算。Parallel(n_jobs=max_usage_of_cores)(delayed(回测函数)(codelist,frequency,mo...
【backtrader源码解析7】backtrader中mathsupport中计算平均值、方差和标准差的函数的分析(含金量挺低的)
云金杞
02-26 1794
前面的几篇文章尝试通过优化backtrader几个时间处理函数来提高效率，使用cython能提高单个函数效率但是在整体中效率降低导致失败之后，我又尝试了使用numba来改进那几个时间处理函数，也失败了。目前暂时没有找到有什么比较好的方法能够改进那几个时间转换函数，哪位大神有好的方法可以帮帮忙哦，互相帮忙。付费也行。 接下来这篇文章分析了几个数学支持函数：平均值、方差、标准差，总体上没啥含金量。在下一篇文章中，着重解析一个关键的源码文件：metabase.py #!/usr/bin/env python #
Backtrader量化平台教程-跟踪止损单（十）
lyx的专栏
07-25 1万+
AD：（本人录制的backtrader视频课程，大家多多支持哦~https://edu.csdn.net/course/detail/9040） 无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx CTA当中，...
Backtrader量化平台教程（五）Signal
lyx的专栏
04-29 8284
AD：（本人录制的backtrader视频课程，大家多多支持哦~https://edu.csdn.net/course/detail/9040） 无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx ...
【backtrader源码解析6】使用cython改写utils中几个时间相关函数之后，单个函数效率提升但是总体上效率下降的原因（2022-02-21修改)
云金杞
02-20 1362
对比分析了纯python版本的结果和使用cython改写几个函数的结果，分析之后发现，使用cython改写之后，调用的函数增加了，主要是python函数内部的类型确认函数，找出来了一部分增加比较明显的函数调用： 尝试修改下cython的函数，使得返回的数据类型是python的数据类型，然后对比下看整体上的运行效率会不会提升。 ...
Backtrader量化平台教程（八) TimeFrame
lyx的专栏
05-24 8225
AD：（本人录制的backtrader视频课程，大家多多支持哦~https://edu.csdn.net/course/detail/9040） 无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx ...
python的numba加速
热门推荐
lyx的专栏
11-20 1万+
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。教程链接：https://www.cbedai.net/qtlyx 之前笔者写过一个pypy的加速方法，可以参阅笔者之前的文章：http://blog.csdn.net/qtlyx/article/details/7...
使用numpy 进行计算最大互信息系数mic，并使用numba库加速和并行计算
03-07
可以回答这个问题。使用numpy计算最大互信息系数mic可以使用numpy的corrcoef函数计算两个变量之间的相关系数矩阵，然后使用mic函数计算最大互信息系数。使用numba库可以加速计算，可以使用@jit装饰器将函数编译成机器码，从而提高计算速度。并行计算可以使用numba的@njit(parallel=True)装饰器实现。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云金杞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值