python pandas教程pdf_Python Pandas - Sparse Data

Python Pandas - Sparse Data

当任何匹配特定值的数据(NaN /缺失值，但可以选择任何值)被省略时，稀疏对象被“压缩”。 一个特殊的SparseIndex对象跟踪数据被“稀疏化”的位置。 这在一个例子中会更有意义。 所有标准的Pandas数据结构都应用to_sparse方法 -import pandas as pd

import numpy as np

ts = pd.Series(np.random.randn(10))

ts[2:-2] = np.nan

sts = ts.to_sparse()

print sts

其output如下 -0 -0.810497

1 -1.419954

2 NaN

3 NaN

4 NaN

5 NaN

6 NaN

7 NaN

8 0.439240

9 -1.095910

dtype: float64

BlockIndex

Block locations: array([0, 8], dtype=int32)

Block lengths: array([2, 2], dtype=int32)

出于内存效率的原因，存在稀疏对象。

现在让我们假设您有一个大的NA DataFrame并执行以下代码 -import pandas as pd

import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))

df.ix[:9998] = np.nan

sdf = df.to_sparse()

print sdf.density

其output如下 -0.0001

通过调用to_dense可以将任何稀疏对象转换回标准密集形式 -import pandas as pd

import numpy as np

ts = pd.Series(np.random.randn(10))

ts[2:-2] = np.nan

sts = ts.to_sparse()

print sts.to_dense()

其output如下 -0 -0.810497

1 -1.419954

2 NaN

3 NaN

4 NaN

5 NaN

6 NaN

7 NaN

8 0.439240

9 -1.095910

dtype: float64

稀疏Dtypes

稀疏数据应具有与其密集表示相同的dtype。 目前，支持float64, int64和booldtypes 。 根据原始dtype, fill_value default更改 -float64 - np.nan

int64 - 0

bool - 错

让我们执行以下代码来理解相同的 -import pandas as pd

import numpy as np

s = pd.Series([1, np.nan, np.nan])

print s

s.to_sparse()

print s

其output如下 -0 1.0

1 NaN

2 NaN

dtype: float64

0 1.0

1 NaN

2 NaN

dtype: float64