pandas处理文本数据
快速浏览
string类型的性质
string与object的区别
① 字符存取方法(string accessor methods,如str.count)会返回相应数据的Nullable类型,而object会随缺失值的存在而改变返回类型(这一点在pandas缺失数据中有提及)
② 某些Series方法不能在string上使用,例如: Series.str.decode(),因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时,类型会广播为pd.NA,而不是浮点型np.nan
其余全部内容在当前版本下完全一致,但迎合Pandas的发展模式,我们仍然全部用string来操作字符串
如果将一个其他类型的容器直接转换string类型可能会出错。当下正确的方法是分两部转换,先转为str型object,在转为string类型。
pd.Series([1,'1.']).astype('string') #报错
pd.Series([1,2]).astype('string') #报错
pd.Series([True,False]).astype('string') #报错
pd.Series([1,'1.']).astype('str').astype('string')
pd.Series([1,2]).astype('str').astype('string')
pd.Series([True,False]).astype('str').astype('string')
str.split方法
str.split根据某一个元素分割,默认为空格。expand参数控制了是否将列拆开,n参数代表最多分割多少次。
需要注意下面的例子split后的类型是object,因为现在Series中的元素已经不是string,而包含了list,且string类型只能含有字符串。
s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
print(s.str.split('_'))
print(s.str.split('_').str[1])
print(pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1])
对于str方法可以进行元素的选择,如果该单元格元素是列表,那么str[i]表示取出第i个元素,如果是单个元素,则先把元素转为列表在取出。
0 [a, b, c]
1 [c, d, e]
2 <NA>
3 [f, g, h]
dtype: object
0 b
1 d
2 <NA>
3 g
dtype: object
0 _
1 b
dtype: object
print(s.str.split('_',expand=True))
print(s.str.split('_',n=1))
print(s.str.split('_',expand=True,n=1))
0 1 2
0 a b c
1 c d e
2 <NA> <NA> <NA>
3 f g h
0 [a, b_c]
1 [c, d_e]
2 <NA>
3 [f, g_h]
dtype: object
0 1
0 a b_c
1 c d_e
2 <NA> <NA>
3 f g_h
str.cat方法
cat方法对于不同对象的作用结果并不相同,其中的对象包括:单列、双列、多列。
对于单个Series而言,就是指所有的元素进行字符合并为一个字符串。其中可选sep分隔符参数,和缺失值替代字符na_rep参数。
s = pd.Series(['ab',None,'d'],dtype='string')
print(s.str.cat())
print(s.str.cat(sep=','))
print(s.str.cat(sep=',',na_rep='*'))
abd
ab,d
ab,*,d
对于两个Series合并而言,是对应索引的元素进行合并。同样也有相应参数,需要注意的是两个缺失值会被同时替换。
s2 = pd.Series(['24',None,None],dtype='string')
print(s.str.cat(s2))
print(s.str.cat(s2,sep=',',na_rep='*'))
0 ab24
1 <NA>
2 <NA>
dtype: string
0 ab,24
1 *,*
2 d,*
dtype: string
多列拼接可以分为表的拼接和多Series拼接。
print(s.str.cat(pd.DataFrame({
0:['1','3','5'],1:['5','b',None