![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python常用小框架
文章平均质量分 63
风暴之零
GSM LTE NR VBA SQL Python 区块链
展开
-
创建pandas容器和添加数据
创建pandas容器主要包括两部分内容,分别时创建空的DataFrame和对DataFrame添加内容。原创 2023-02-27 18:25:20 · 3660 阅读 · 0 评论 -
pandas数据的分箱和聚合
对数据分类,然后再进行处理是常用的功能。在pandas中可以通过数据的分箱和聚合来实现。本文通过pandas实现相关功能,并封装为函数。整个过程分为四步。原创 2023-02-23 09:28:40 · 1129 阅读 · 0 评论 -
pandas自适应编码和后缀加载和保存表
pandas加载和保存表需要指定后缀和编码方式,通用性不强。通过对pandas API的进一步包装可以增加通用性,推介使用pandasrw库来进行数据的读写。原创 2023-02-15 11:26:05 · 246 阅读 · 0 评论 -
Python 自适应参数数量的网格搜索
网格搜索是一种对多个参数组合遍历进行寻优的方法。但是当参数的数量增加的时候需要增加for的层数,不利于程序的扩展。通过先对参数进行全排列,然后让生成的全排列转换成numpy数组再逐行遍历的方式进行网格搜索可以方便的自适应参数的数量进行网格搜索和使用numba加速。原创 2023-01-23 21:51:31 · 460 阅读 · 0 评论 -
excel和csv表格文件流式处理降低内存需求以及并行化读取——分块读写和计算
excel格式数据不能像csv格式一样方便的实现分块的读取。对于csv可以通过dask库和或者pd.read_csv的chunksize参数实现流式加载和运算。为了避免对excel大文件读取或运算过程中的内存不足,通过流式加载excel再进行处理,节约内存使用。流式加载和计算主要有两种思路1、将excel转化为csv实现流式加载和计算。2、分块读取excel实现流式加载和计算。原创 2023-01-23 20:56:36 · 1358 阅读 · 0 评论 -
对于pandas数据进行均分分块和合并
pandas并未内置分块函数,对于pandas的分块有2种方法,一种是通过numpy中的split分块和本文介绍的自动计算分块行数进行分块的方法。在合并的时候主要也是解决无列名或列名不一致时的合并。原创 2023-01-23 16:40:07 · 925 阅读 · 0 评论