python生成10000个样本数据集_python – 为什么随机抽样比例数据集不是样本量? (pandas .sample()示例)...

当从不同大小的分布中随机抽样时,我惊讶地发现执行时间似乎主要是根据从中采样的数据集的大小而不是被采样的值的数量来缩放.例:

import pandas as pd

import numpy as np

import time as tm

#generate a small and a large dataset

testSeriesSmall = pd.Series(np.random.randn(10000))

testSeriesLarge = pd.Series(np.random.randn(10000000))

sampleSize = 10

tStart = tm.time()

currSample = testSeriesLarge.sample(n=sampleSize).values

print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesLarge), (tm.time() - tStart)))

tStart = tm.time()

currSample = testSeriesSmall.sample(n=sampleSize).values

print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesSmall), (tm.time() - tStart)))

sampleSize = 1000

tStart = tm.time()

currSample = testSeriesLarge.sample(n=sampleSize).values

print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesLarge), (tm.time() - tStart)))

tStart = tm.time()

currSample = testSeriesSmall.sample(n=sampleSize).values

print('sample %d from %d values: %.5f s' % (sampleSize, len(testSeriesSmall), (tm.time() - tStart)))

输出是:

sample 10 from 10000 values: 0.00126 s

sample 10 from 10000000 values: 1.10504 s

sample 1000 from 10000 values: 0.00122 s

sample 1000 from 10000000 values: 1.15000 s

这似乎违反直觉.也许我很密集,但问题似乎与生成随机索引列表类似,我本来期望采样的数量与数据集的大小和数据集的大小无关.我已经尝试了另外一个或两个具有类似结果的实现,但它开始觉得我只是错过了一个基本问题.

我的问题有两个:(1)这是大pandas的根本问题还是实施的怪癖? (2)以这种方式从大型数据集中随机抽样是否有明显更快的方法?

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值