大数据
车忻青
这个作者很懒,什么都没留下…
展开
-
多维数组计算加速pool
先说计算需求,我的需求是百万级以上的2维矩阵的滑动窗口计算,pandas的rolling是用不了的,只能计算单列,我的矩阵内部同时多列互相计算,包括groupby之类的 开始找工具 https://zhuanlan.zhihu.com/p/91100281。介绍了as_strided, from numpy.lib.stride_tricks import as_strided as stride 在numpy 1.2版本之后还有sliding_window_view from numpy.lib.str原创 2021-08-05 20:39:56 · 487 阅读 · 0 评论 -
读取很大的压缩文件内任意文件夹下csv的方法
一般格式是rar、zip、7z rar: 先要装rarfile,这个东西会爆没有装unrar的问题,然后你会发现pip install unrar 并没有什么鬼用??? 实际上需要一个UnRAR.exe 感谢一下 https://blog.csdn.net/qq_22186119/article/details/78109819 rar_path = rarfile.RarFile("H:/Bai...原创 2018-12-03 16:08:45 · 666 阅读 · 0 评论