seeker的博客

原创 Pandas内存优化 trick

本篇内容大部分翻译自 https://www.dataquest.io/blog/pandas-big-data/将内存使用量减少高达90％的方法当使用 pandas 处理小规模数据，如 100M 左右，性能问题不用担心。但是当处理稍大规模数据，如 G 级别的数据，性能问题就会使运行时间变长，甚至会出现内存不足而导致失败，就是所谓的 OOM 问题。一些大数据工具如 Spark 可以处理...