python itertools.product_关于python:从itertools.product构建一个大的numpy数组

本文探讨了在Python中使用`itertools.product`生成大数组的问题,特别是当`repetitions`值较大时导致内存问题。作者尝试了多种方法,包括直接转换为numpy数组、使用`np.meshgrid`和`collections.Counter`,但都遇到了速度或内存限制。最后,作者意识到应避免一次性生成所有组合,而是寻找一种按需生成和处理数据的方式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我想从itertools.product的结果构建一个numpy数组。我的第一种方法很简单:

from itertools import product

import numpy as np

max_init = 6

init_values = range(1, max_init + 1)

repetitions = 12

result = np.array(list(product(init_values, repeat=repetitions)))

此代码对于"小" repetitions(如<= 4)效果很好,但是对于"大"值(> = 12),它将完全占用内存并崩溃。我以为建立列表就是吃掉所有RAM的事情,所以我研究了如何直接使用数组来建立它。我发现Numpy等效于itertools.product,并使用numpy构建两个数组的所有组合的数组。

因此,我测试了以下替代方案:

备选方案1:

results = np.empty((max_init**repetitions, repetitions))

for i, row in enumerate(product(init_values, repeat=repetitions)):

result[:][i] = row

备选方案2:

init_values_args = [init_values] * repetitions

results = np.array(np.meshgrid(*init_values_args)).T.reshape(-1, repetitions)

备选方案3

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值