pandas内置数据集_【学习笔记】pandas分类数据

一、category的创建及其性质

通常实时的数据包括重复的文本列。例如：性别，国家和代码等特征总是重复的。这些是分类数据的例子。分类变量只能采用有限的数量，而且通常是固定的数量。除了固定长度，分类数据可能有顺序，但不能执行数字操作。 分类是Pandas数据类型。

1、分类变量的创建

(a)用Series创建

pd.Series(["a", "b", "c", "a"], dtype="category")

(b)对DataFrame指定类型创建

df = pd.DataFrame({'A':pd.Series(["a", "b", "c", "a"], dtype="category"),'B':list('abcd')})

(c)利用内置Categorical类型创建

cat = pd.Categorical(["a", "b", "c", "a"], categories=['a','b','c'])

(d)利用cut函数创建，又分为两种。

1、默认使用区间类型为标签

pd.cut(np.random.randint(0,60,5), [0,10,30,60])

2、可指定字符为标签

pd.cut(np.random.randint(0,60,5), [0,10,30,60], right=False, labels=['0-10','10-30','30-60'])

2、分类变量的结构

一个分类变量包括三个部分，元素值(values)、分类类别(categories)、是否有序(order)

下面介绍如何获取或修改这些属性：

(a)

describe

方法，该方法描述了一个分类序列的情况，包括非缺失值个数、元素值类别数(不是分类类别数)、最多次出现的元素及其频数

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.describe()

输出:

count 4

unique 3

top a

freq 2

dtype: object

count

：非缺失值个数

unique

：唯一值的个数(缺失值np.nan不算)

top

：出现次数最多的元素

freq

：出现次数最多的元素，出现的次数，也就是上面top字符出现的次数

(b)categories和ordered属性，查看分类类别和是否排序

s.cat.categories

输出：

Index(['a', 'b', 'c', 'd'], dtype='object')

s.cat.ordered

输出：

False

3、类别的修改

(a)利用set_categories修改，修改分类，但本身值不会变化

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.cat.set_categories(['new_a','c'])

(b)利用rename_categories修改，需要注意的是该方法会把值和分类同时修改

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.cat.rename_categories(['new_%s'%i for i in s.cat.categories])

利用字典修改值：

s.cat.rename_categories({'a':'new_a','b':'new_b'})

(c)利用add_categories添加

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.cat.add_categories(['e'])

(d)利用remove_categories移除

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.cat.remove_categories(['d'])

(e)删除元素值未出现的分类类型

s = pd.Series(pd.Categorical(["a", "b", "c", "a",np.nan], categories=['a','b','c','d']))

s.cat.remove_unused_categories()

二、分类变量的排序

1、序的建立

(a)一般来说会将一个序列转为有序变量，可以利用as_ordered方法

s = pd.Series(["a", "d", "c", "a"]).astype('category').cat.as_ordered()

退化为无序变量，只需要使用as_unordered

s.cat.as_unordered()

(b)利用set_categories方法中的order参数

pd.Series(["a", "d", "c", "a"]).astype('category').cat.set_categories(['a','c','d'],ordered=True)

(c)利用reorder_categories方法，这个方法的特点在于，新设置的分类必须与原分类为同一集合

s = pd.Series(["a", "d", "c", "a"]).astype('category')

s.cat.reorder_categories(['a','c','d'],ordered=True)

三、分类变量的比较操作

1. 与标量或等长序列的比较

(a)标量比较

s = pd.Series(["a", "d", "c", "a"]).astype('category')

s == 'a'

输出：

0 True

1 False

2 False

3 True

dtype: bool

(b)等长序列比较

s == list('abcd')

输出：

0 True

1 False

2 True

3 False

dtype: bool

2、与另一个分类变量的比较

(a)等式判别(包含等号和不等号)，两个分类变量的等式判别需要满足分类完全相同

s = pd.Series(["a", "d", "c", "a"]).astype('category')

s == s

输出：

0 True

1 True

2 True

3 True

dtype: bool

s != s

输出：

0 False

1 False

2 False

3 False

dtype: bool

(b)不等式判别(包含>=,<=,)，两个分类变量的不等式判别需要满足两个条件：① 分类完全相同 ② 排序完全相同

s = pd.Series(["a", "d", "c", "a"]).astype('category').cat.reorder_categories(['a','c','d'],ordered=True)

s >= s

输出：

0 True

1 True

2 True

3 True

dtype: bool

参考文档: