风暴之灵得博客

创建pandas容器主要包括两部分内容，分别时创建空的DataFrame和对DataFrame添加内容。

对数据分类，然后再进行处理是常用的功能。在pandas中可以通过数据的分箱和聚合来实现。本文通过pandas实现相关功能，并封装为函数。整个过程分为四步。

pandas加载和保存表需要指定后缀和编码方式，通用性不强。通过对pandas API的进一步包装可以增加通用性，推介使用pandasrw库来进行数据的读写。

网格搜索是一种对多个参数组合遍历进行寻优的方法。但是当参数的数量增加的时候需要增加for的层数，不利于程序的扩展。通过先对参数进行全排列，然后让生成的全排列转换成numpy数组再逐行遍历的方式进行网格搜索可以方便的自适应参数的数量进行网格搜索和使用numba加速。

excel格式数据不能像csv格式一样方便的实现分块的读取。对于csv可以通过dask库和或者pd.read_csv的chunksize参数实现流式加载和运算。为了避免对excel大文件读取或运算过程中的内存不足，通过流式加载excel再进行处理，节约内存使用。流式加载和计算主要有两种思路1、将excel转化为csv实现流式加载和计算。2、分块读取excel实现流式加载和计算。

pandas并未内置分块函数，对于pandas的分块有2种方法，一种是通过numpy中的split分块和本文介绍的自动计算分块行数进行分块的方法。在合并的时候主要也是解决无列名或列名不一致时的合并。