第七章-文本数据

import pandas as pd 
import numpy as np

string类型的性质

string与object的区别

string类型和object不同之处有三：

1. 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
2. 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
3. string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan

string类型的转换

• 当下正确的方法是分两部转换，先转为str型object，在转为string类型

pd.Series([1,'1']).astype('str').astype('string')

0    1
1    1
dtype: string

pd.Series([1,2]).astype('str')

0    1
1    2
dtype: object

• 以上可以看出这一步是转换为object

pd.Series([1,2]).astype('str').astype('string')

0    1
1    2
dtype: string

pd.Series([True,False]).astype('str').astype('string')

0     True
1    False
dtype: string

拆分与拼接

str.split方法

1. 分割符号与str的位置元素选取

s=pd.Series(['a_b_c','c_d_e',np.nan,'f_g_h'],dtype='string')
s

0    a_b_c
1    c_d_e
2     <NA>
3    f_g_h
dtype: string

• 根据某一个元素分割，默认为空格

s.str.split('_')

0    [a, b, c]
1    [c, d, e]
2         <NA>
3    [f, g, h]
dtype: object

• 分割之后数据类型改变了。注意，string类型只能含有字符串

• 对于str方法可以进行元素的选择，如果该单元格元素是列表，那么str[i]表示取出第i个元素，如果是单个元素，则先把元素转为列表在取出

s.str.split('_').str[1]#按列取出

0       b
1       d
2    <NA>
3       g
dtype: object

pd.Series(['a_b_c',['a','b','c']],dtype='object')

0        a_b_c
1    [a, b, c]
dtype: object

pd.Series(['a_b_c',['a','b','c']],dtype='object').str[1]

0    _
1    b
dtype: object

• 从上面两部可以看出，首先转换成[‘a’,’’,‘b’,’’,‘c’]，之后再按列取

2. 其他参数

• expand参数控制了是否将列拆开，n参数代表最多分割多少次

pd.DataFrame(s)

	0
0	a_b_c
1	c_d_e
2	<NA>
3	f_g_h

s.str.split('_',expand=True)

	0	1	2
0	a	b	c
1	c	d	e
2	<NA>	<NA>	<NA>
3	f	g	h

s.str.split('_',n=1)#只对第一个_进行了分割

0    [a, b_c]
1    [c, d_e]
2        <NA>
3    [f, g_h]
dtype: object

s.str.split('_',expand=True,n=1)

	0	1
0	a	b_c
1	c	d_e
2	<NA>	<NA>
3	f	g_h

str.cat方法

1. 不同对象的拼接模式

• cat方法对于不同对象的作用结果并不相同，其中的对象包括：单列、双列、多列

• 对于单个Series而言，就是指所有的元素进行字符合并为一个字符串

s=pd.Series(['ab',None,'d'],dtype='string')
s

0      ab
1    <NA>
2       d
dtype: string

s.str.cat()

'abd'

• 其中可选sep分隔符参数，和缺失值替代字符na_rep参数

s.str.cat(sep='!',na_rep='+')

'ab!+!d'

• 对于两个Series合并而言，是对应索引的元素进行合并

s2=pd.Series(['24',None,None],dtype='string')
s2

0      24
1    <NA>
2    <NA>
dtype: string

s.str.cat(s2)

0    ab24
1    <NA>
2    <NA>
dtype: string

• 对于两个Series合并而言，是对应索引的元素进行合并

s.str.cat(s2,sep='!',na_rep='+')

0    ab!24
1      +!+
2      d!+
dtype: string

• 多列拼接可以分为表的拼接和多Series拼接

#表的拼接
s.str.cat(pd.DataFrame({0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='+')

0    ab15
1     +3b
2     d5+
dtype: string

#多个series拼接
s.str.cat([s+'0',s*2])

0    abab0abab
1         <NA>
2        dd0dd
dtype: string

3. cat中的索引对齐

s2=pd.Series(list('abc'),index=[1,2,3],dtype='string')
s2

1    a
2    b
3    c
dtype: string

#如果两边合并的索引不相同且未指定join参数，默认为左连接，设置join='left'
s.str.cat(s2,na_rep='+')

0    ab+
1     +a
2     db
dtype: string

替换

str.replace的常见用法

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca','', np.nan, 'CABA', 'dog', 'cat'],dtype="string")
s

0       A
1       B
2       C
3    Aaba
4    Baca
5        
6    <NA>
7    CABA
8     dog
9     cat
dtype: string