python运行内存不足_Python内存不足

在处理大型JSON文件时,一个Python程序遇到了Memory Error。程序读取文件,处理数据,使用DictVectorizer和TfidfTransformer进行特征提取,然后应用KNeighborsRegressor进行预测。为了提高效率,可以考虑分块读取文件、使用更节省内存的方法或优化数据结构。
摘要由CSDN通过智能技术生成

我有以下程序。当我运行它时,我收到了Memory Error,特别是在Fpred = F.predict(A)(请参阅下面)import json

data = []

with open('yelp_data.json') as f:

for line in f:

data.append(json.loads(line))

star = []

for i in range(len(data)):

star.append(data[i].values()[10])

attributes = []

for i in range(len(data)):

attributes.append(data[i].values()[12])

def flatten_dict(dd, separator=' ', prefix=''):

return { prefix + separator + k if prefix else k : v

for kk, vv in dd.items()

for k, v in flatten_dict(vv, separator, kk).items()

} if isinstance(dd, dict) else { prefix : dd }

flatten_attr = list(flatten_dict(attributes[i], separator = ' ', prefix = '') for i in range(len(attributes)))

from sklearn.feature_extraction import DictVectorizer

<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值