记numpy高速封装库bottleneck的一个bug

最新推荐文章于 2024-03-29 19:13:06 发布
最新推荐文章于 2024-03-29 19:13:06 发布
阅读量420 收藏
点赞数
分类专栏： numpy 文章标签： numpy bottleneck
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S_o_l_o_n/article/details/128622743
版权

博主在使用bottleneck的移动平均函数时，对0的平均得到了很接近0的非零值，这是一个官方已知的bug，但是还未修复。

这些值的产生可能是因为bottleneck在底层用C编写函数的时候，数据类型转换出了问题。

因此，在使用bottleneck时，避免直接使用move_mean函数，而且切记要对结果进行检查，bottleneck这个库目前看来还不是很安全。奈何numpy本身对移动窗口函数的支持不好，numpy.lib.stride_tricks.sliding_window_view用起来不是那么方便，有时候效率也不高。

上述bug是官方已知的，属于open issue，参看bottleneck的github:

[BUG] move_mean gives negative values for array with no negative values in it · Issue #332 · pydata/bottleneck · GitHub

[BUG] get wrong result in move_mean · Issue #377 · pydata/bottleneck · GitHub

S_o_l_o_n
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python库 | Bottleneck-1.2.1.tar.gz
05-12
资源分类：Python库 所属语言：Python 资源全名：Bottleneck-1.2.1.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
pandas加速运行时，判断加速运行常用的两个库【bottleneck库】和【numexpr库】开启与关闭状态
晨晨渝奇的博客
11-18 1223
在pandas中处理大数据集时想要加速进行运算，两个库必不可少，强烈推荐安装。如果不确定是开启还是关闭状态，可以查询一下，会显示True或False。这两个库如果安装了，默认是开启的，如果没安装需要安装。安装官方的说法，是这两个库是默认开启的，可以手动关闭。bottleneck库。
Bottleneck: 提高 Pandas 性能的库
gitblog_00006的博客
03-12 436
Bottleneck: 提高 Pandas 性能的库 Bottleneck 是一个用于提高 Pandas 库性能的库，可以加速 NumPy 和 Pandas 的计算速度。 什么是 Bottleneck？ Bottleneck 是一个专门用于加速 Pandas 数据处理任务的库。它通过使用 Cython 实现了内存有效的方法，并提供了快速排序、统计和其他常用操作的功能。 与 NumPy 和 Pand...
Python库 | Bottleneck-0.4.2_32bitOS.tar.gz
05-12
资源分类：Python库 所属语言：Python 资源全名：Bottleneck-0.4.2_32bitOS.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
BottleNeck
shayCsdn的专栏
03-11 2467
保证时间复杂度的前提下，将输出的维度变为原来的4倍
Python常用库之一：Numpy
01-27
Numpy比Python列表更具优势，其中一个优势便是速度。在对大型数组执行操作时，Numpy的速度比Python列表的速度快了好几百。因为Numpy数组本身能节省内存，并且Numpy在执行算术、统计和线性代数运算时采用了优化算法。...
MyGrad：一个纯pythonnumpy autograd张量库
02-14
mygrad是一个简单的以NumPy为中心的autograd库。 autograd库使您可以自动计算数学函数的导数。 该库既可以用作原型设计/测试工具，又可以作为学习基于梯度的机器学习的教育工具； 它易于安装，具有可读性和易于...
Numpy.GPU是一个面向Numpy的Gpu加速库.zip
最新发布
05-19
NumPy 的前身为 Numeric ，最早由 Jim Hugunin 与其它协作者共同开发，2005 年，Travis Oliphant 在 Numeric 中结合了另一个同性质的程序库 Numarray 的特色，并加入了其它扩展而开发了 NumPy。NumPy 为开放源代码...
Python库 | Bottleneck-1.3.3rc13.tar.gz
03-03
Bottleneck是一个针对NumPy数组设计的高性能、低延迟的C扩展库，专为处理大数据集而优化。这个库主要提供了各种统计函数和操作，适用于科学计算和数据分析领域，特别是在数据流分析和批量处理中，能够显著提升计算...
numpy及numpy+mkl库.zip
02-18
Numpy是Python编程语言中的一个核心库，专用于科学计算，尤其在处理多维数据时表现出强大的功能。它提供了一种高效、灵活的数据结构——数组（Array）和矩阵（Matrix），使得对大型数据集进行计算变得简单易行。...
Python 量化投资（一）：滑动均值、布林带、MACD、RSI、KDJ、OBV
龙哥盟
07-12 568
这就完成了向量化，因为 NumPy 或者 PyTorch 都针对卷积做了特殊优化。为了更好利用向量化来加速，滑动窗口使用。
python代码实现Bottleneck Generalized Assignment Problems
qq_39923466的博客
03-29 274
代码实现Bottleneck Generalized Assignment Problems
python与深度学习(list保存,enumerate,copy,deepcopy),bottleneck解释、matplotlib画图、控制台调试session中的变量
yangdeshun888的博客
08-21 745
1、关于一些代码块注释出现“bottleneck”的名称解释 在一些Gan网络比较常见一个词是“bottleneck”来定义其中的一段网络。其意思也叫作：瓶颈的意思。 因为Gan网络里的Generator网络一般要进行类型U-net网络的设计的。那么其中的细网络部分就可以叫做“bottleneck”， 而其中的这部分网络中的主要作用是进行特征提取，现在使用的比较多的是ResNet，所以也有人...
module ‘numpy‘ has no attribute ‘get_include‘
dlhlSC的博客
06-05 3924
在编译cocoAPI时，出现"module 'numpy' has no attribute 'get_include'" 解决方法：卸载旧版本的numpy，安装最新的numpy sudo pip3 uninstall numpy sudo pip3 install numpy #pip3默认安装最新的numpy ...
NumPy迎规模最大版本更新，新增函数注释等功能，支持Python 3.7+
机器学习算法与Python学习
02-04 464
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路本文转自机器之心作为 Python 语言的一个扩展程序库，NumPy 支持大量的维度数组与矩阵运算，也针对数组运算提供大量的...
numpy.lib.stride_tricks中的as_strided
w112348的博客
02-27 787
用于产生类似滑动串口的效果 1D滑动窗口 from numpy.lib import stride_tricks def sliding_window_1d(a, window): shape = (len(a)-window+1, window) strides = (a.itemsize, a.itemsize) ret = stride_tricks.as_strided(Z, shape=shape, strides=strides) return ret Z =
继承与多态之虚函数
WPP BLOG
09-26 270
1.什么是纯虚函数、为什么要有纯虚函数？ 2.虚函数表放在哪里？ 虚函数表是在编译过程中生成的，一个类只要有虚函数，或者是从基类继承来了虚函数， 那么它就会有一个虚函数表生成，虚函数表运行时放在.rodata 段，只能读，不能写，和常量 字符串是放在同一段的，它的生命期是整个应用程序的生命周期。 扩展博客： C++纯虚函数 C++虚函数、vfptr、vbptr ...
numpy—np.lib.stride_tricks.as_strided
柳杰的博客
02-25 1005
文章目录 lib.stride_tricks.as_strided(x, shape=None, strides=None, subok=False, writeable=True) 描述 创建具有给定形状和步幅的数组视图 参数 x : 输入数组 shape ：sequence of int, optional 新数组的形状。默认为x.shape strides ：sequence of int, optional 新数组的步长。默认为x.strides。 subok ：bool, optional
python图像遍历优化的方法总结（以中值滤波为例）
陨星落云的博客
06-11 1172
python图像遍历优化的方法： 使用numba加速：请参考这篇文章 使用GPU加速：请参考这篇文章 今天介绍一种新的优化方法 使用numpy自带的滑动窗口进行优化 注意：numpy版本必须不小于1.20.0。 滑动窗口函数介绍：请参考这篇文章 以中值滤波为例（优化前与优化后的对比） # -*- coding: utf-8 -*- """ Created on Fri Jun 11 06:24:33 2021 @author: 陨星落云 csdn博客地址: https://blog.csdn.net/
numpy是python的一个库吗？
07-24
是的，NumPy是Python的一个重要库，用于科学计算和数值操作。它提供了高性能的多维数组对象（ndarray），以及许多用于数组操作的函数和方法。NumPy可以进行快速的数值计算和数据处理，包括数学运算、统计分析、线性代数、傅里叶变换等。它还与其他科学计算库（如Pandas和Matplotlib）紧密集成，为数据科学和机器学习提供了强大的基础。因其高效性和广泛应用性，NumPy已成为Python科学计算领域的核心库之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值