在尝试使用pandas读取超过1GB的大型csv文件时，遇到了kernel崩溃的问题。排查原因发现并非numpy等包的版本问题，而是由于运行Jupyter Notebook的docker容器内存不足。通过检查容器内存使用状况，确认了内存不足是导致问题的关键。解决方案包括调整容器内存配置或升级服务器资源。这个问题在运行于腾讯云服务器的1核2G内存环境中尤为明显。
在用pandas读取大型（都几乎是超1G）的csv文件，发生了如下报错：
搜了一下，
-
第一种发生原因：安装包版本问题。所以解决办法：
- pip install -U numpy（好一部分朋友表示这个有用）
- conda install nomkl（少部分朋友表示这个有用）
- conda update anaconda/ mkl（一部分朋友表示这个有用）
但是这些都不适用掌柜这里，后来又查了一下。
- 第二种发生原因：容器分配的内存不足导致。 解决办法：修改容器内存配置。
docker update -m 4096M
或者
docker update -m 4096M --memory-swap 409
最低0.47元/天 解锁文章
扫一扫
599
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
