Pandas学习总结——7. 文本数据处理

1 string类型

1.1 string与object的区别

string类型和object有三个不同之处：

• 字符存取方法（如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
• 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
• string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan

1.2 string类型的转换

其他类型的容器不能直接转换string类型，可能会出错：

#pd.Series([1,'1.']).astype('string') #报错
#pd.Series([1,2]).astype('string') #报错
#pd.Series([True,False]).astype('string') #报错

可以分两部转换，先转为str型object，再转为string类型：

pd.Series([1,'2.']).astype('str').astype('string')

0     1
1    2.
dtype: string

2 string类型的一些操作

2.1 拆分（str.split方法）

（a）分割符与str的位置元素选取

s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
s.str.split('_')	# 根据某一个元素分割，默认为空格

0    [a, b, c]
1    [c, d, e]
2         <NA>
3    [f, g, h]
dtype: object

注意： split后的类型是object，因为现在Series中的元素已经不是string，而包含了list，且string类型只能含有字符串

str方法可以进行元素的选择：

• 如果该单元格元素是列表，那么str[i]表示取出第i个元素；
• 如果是单个元素，则先把元素转为列表再取出

s.str.split('_').str[1]

0       b
1       d
2    <NA>
3       g
dtype: object

pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1]
#第一个元素先转为['a','_','b','_','c']

0    _
1    b
dtype: object

（b）其他参数
expand参数控制了是否将列拆开，n参数代表最多分割多少次

s.str.split('_',expand=True)

	0	1	2
0	a	b	c
1	c	d	e
2	<NA>	<NA>	<NA>
3	f	g	h

s.str.split('_',n=1)

0    [a, b_c]
1    [c, d_e]
2        <NA>
3    [f, g_h]
dtype: object

s.str.split('_',expand=True,n=1)

	0	1
0	a	b_c
1	c	d_e
2	<NA>	<NA>
3	f	g_h

2.2 拼接（str.cat方法）

（a）不同对象的拼接模式
cat方法的对象包括：单列、双列、多列，其作用结果并不相同

• 对单个Series而言，就是指所有的元素进行字符合并为一个字符串。其中可选分隔符sep参数、缺失值替代字符na_rep参数

s = pd.Series(['ab',None,'d'],dtype='string')
s.str.cat()

'abd'

s.str.cat(sep=',')

'ab,d'

s.str.cat(sep=',',na_rep='*')

'ab,*,d'

• 对两个Series合并而言，是对应索引的元素进行合并

s2 = pd.Series(['24',None,None],dtype='string')
s