python 手动释放内存_Python手动清理内存

本文介绍了在处理大量数据时,如何通过分批处理、内存清理和文件追加来解决内存不足的问题。示例代码展示了如何利用Pandas对DataFrame进行扩列、映射操作,并结合`gc.collect()`进行内存释放,最后将数据写入CSV文件。
摘要由CSDN通过智能技术生成

写程序这方面,自己不是科班出身,本科时唯一的C语言课也没有好好听讲。导致后来写代码的时候十分不规范,也缺失了许多细节,日常遇到的自己给自己挖的坑还是有必要记录一下,方便以后复盘。

就像现在,前脚写完的代码后脚就忘了怎么写了……

这段代码主要是处理了一下打文件读取过程中内存不够的问题,中间也对DataFrame进行了一系列操作,结果具体的操作怎么实现的自己已经不记得了……目前还没调试好。

import pandas as pd

import numpy as np

import gc

import os

feature = ['111,222,333,444',

'111,222,333,444',

'111,222,333,444',

'111,222,333,444',

'111,222,333,444',

'111,222,333,444']

dict_in = {'111':'yiyiyi','222':'ererer','333':'sjsjsj','444':'sisisi'}

df = pd.DataFrame(feature,columns=['test'])

def batch_in(df_in,batch,dict_in,str_in='test'):

'''分批传入,写出,处理数据,清理内存,从硬盘读取,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>