当我想使用python的pd.get_dummies生成虚拟变量时，报错说内存不够。
发现忘记给连续变量进行分箱了，导致需要的内存极大。一定需要先对连续变量进行分箱啊。
MemoryError: Unable to allocate 32.6 GiB for an array with shape (114149, 306215) and data type uint
在使用Python的pandas库进行数据预处理时，遇到内存不足的问题。原因是尝试对连续变量直接应用pd.get_dummies创建虚拟变量，导致内存需求激增。解决方法是对连续变量进行分箱（binning）操作，降低数据维度，从而减少内存消耗。这个过程对于大规模数据集的处理至关重要，合理的数据分箱和虚拟变量创建是数据预处理的关键步骤。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
