python数据处理技巧
文章平均质量分 59
车忻青
这个作者很懒,什么都没留下…
展开
-
多维数组计算加速pool
先说计算需求,我的需求是百万级以上的2维矩阵的滑动窗口计算,pandas的rolling是用不了的,只能计算单列,我的矩阵内部同时多列互相计算,包括groupby之类的 开始找工具 https://zhuanlan.zhihu.com/p/91100281。介绍了as_strided, from numpy.lib.stride_tricks import as_strided as stride 在numpy 1.2版本之后还有sliding_window_view from numpy.lib.str原创 2021-08-05 20:39:56 · 486 阅读 · 0 评论 -
dataframe每一行是dict或者list的嵌套,展开的方式
掘金成分股的原始数据格式 constituents trade_date {'SHSE.600527': 0.009999999776482582, 'SHSE.600461': 0.019999999552965164,···} 2017-07-31 00:00:00 {'SHSE.603966': 0.009999999776482582, 'SHSE.603960': 0.009999原创 2020-12-15 14:34:51 · 1742 阅读 · 0 评论