pandas1.0.5学习笔记（七）文本数据

数据及背景

https://github.com/datawhalechina/joyful-pandas

知识总结

string类型的性质

1. string与object的区别
   string类型和object不同之处有三：
   ① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
   ② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
   ③ string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan

2. string类型的转换

pd.Series([1,'1.']).astype('str').astype('string')
pd.Series([1,2]).astype('str').astype('string')
pd.Series([True,False]).astype('str').astype('string')

拆分与拼接

1. str.split方法
   （a）分割符与str的位置元素选取

s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
s.str.split('_')

0    [a, b, c]
1    [c, d, e]
2         <NA>
3    [f, g, h]
dtype: object

这里需要注意split后的类型是object，因为现在Series中的元素已经不是string，而包含了list，且string类型只能含有字符串
对于str方法可以进行元素的选择，如果该单元格元素是列表，那么stri表示取出第i个元素，如果是单个元素，则先把元素转为列表在取出

pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1]
#第一个元素先转为['a','_','b','_','c']

0    _
1    b
dtype: object

（b）其他参数
expand参数控制了是否将列拆开，n参数代表最多分割多少次

s.str.split('_',expand=True)
	0	1	2
0	a	b	c
1	c	d	e
2	NA	NA	NA
3	f	g	h

s.str.split('_',n=1)
0    [a, b_c]
1    [c, d_e]
2        <NA>
3    [f, g_h]
dtype: object

s.str.split('_',expand=True,n=1)	
0	1
0	a	b_c
1	c	d_e
2	NA	NA
3	f	g_h

2. str.cat方法
   （a）不同对象的拼接模式
   cat方法对于不同对象的作用结果并不相同，其中的对象包括：单列、双列、多列
   ① 对于单个Series而言，就是指所有的元素进行字符合并为一个字符串
   其中可选sep分隔符参数，和缺失值替代字符na_rep参数

s = pd.Series(['ab',None,'d'],dtype='string')
s.str.cat(sep=',',na_rep='*')

'ab,*,d'

② 对于两个Series合并而言，是对应索引的元素进行合并

s2 = pd.Series(['24',None,None],dtype='string')
s.str.cat(s2)

0    ab24
1    <NA>
2    <NA>
dtype: string

s.str.cat(s2,sep=',',na_rep='*')

0    ab,24
1      *,*
2      d,*
dtype: string

③ 多列拼接可以分为表的拼接和多Series拼接
表的拼接

s.str.cat(pd.DataFrame({0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='*')

0    ab15
1     *3b
2     d5*
dtype: string

多个Series拼接

s.str.cat([s+'0',s*2])

0    abab0abab
1         <NA>
2        dd0dd
dtype: string

（b）cat中的索引对齐
当前版本中，如果两边合并的索引不相同且未指定join参数，默认为左连接，设置join=‘left’

s2 = pd.Series(list('abc'),index=[1,2,3],dtype='string')
s.str.cat(s2,na_rep='*')

0    ab*
1     *a
2     db
dtype: string

替换

广义上的替换，就是指str.replace函数的应用，fillna是针对缺失值的替换，上一章已经提及

1. str.replace的常见用法

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca','', np.nan, 'CABA', 'dog', 'cat'],dtype="string")
s.str.replace(r'^[AB]','***')

0       ***
1       ***
2         C
3    ***aba
4    ***aca
5          
6      <NA>
7      CABA
8       dog
9       cat
dtype: string

2. 子组与函数替换

子串匹配与提取

1. str.extract方法
   （a）常见用法

pd.Series(['10-87', '10-88', '10-89'],dtype="string").str.extract(r'([\d]{2})-([\d]{2})')

	0	1
0	10	87
1	10	88
2	10	89

pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})')

	name_1	name_2
0	10	87
1	10	88
2	<NA>	<NA>

pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})?-(?P<name_2>[\d]{2})')

	name_1	name_2
0	10	87
1	10	88
2	<NA>	89

pd.Series(['10-87', '10-88', '10-'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})?')

	name_1	name_2
0	10	87
1	10	88
2	10	<NA>

（b）expand参数（默认为True）

对于一个子组的Series，如果expand设置为False，则返回Series，若大于一个子组，则expand参数无效，全部返回DataFrame

2. str.extractall方法
   与extract只匹配第一个符合条件的表达式不同，extractall会找出所有符合条件的字符串，并建立多级索引（即使只找到一个）

s = pd.Series(["a1a2", "b1", "c1"], index=["A", "B", "C"],dtype="string")
two_groups = '(?P<letter>[a-z])(?P<digit>[0-9])'
s.str.extract(two_groups, expand=True)

letter	digit
A	a	1
B	b	1
C	c	1

s.str.extractall(two_groups)

		letter	digit
match		
A	0	a	1
1	a	2
B	0	b	1
C	0	c	1

如果想查看第i层匹配，可使用xs方法

s = pd.Series(["a1a2", "b1b2", "c1c2"], index=["A", "B", "C"],dtype="string")
s.str.extractall(two_groups).xs(1,level='match')

	letter	digit
A	a	2
B	b	2
C	c	2

3. str.contains和str.match
   前者的作用为检测是否包含某种正则模式

pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains(r'[0-9][a-z]')

0    False
1     <NA>
2     True
3     True
4     True
dtype: boolean

pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains('a', na=False)

0    False
1    False
2     True
3    False
4    False
dtype: boolean

str.match与其区别在于，match依赖于python的re.match，检测内容为是否从头开始包含该正则模式

pd.Series(['1', None, '3a_', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

0    False
1    False
2     True
3     True
4    False
dtype: boolean

pd.Series(['1', None, '_3a', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

0    False
1    False
2    False
3     True
4    False
dtype: boolean

常用字符串方法

1. 过滤型方法
   （a）str.strip
   常用于过滤空格
   （b）str.lower和str.upper
   常用语改变大小写
   （c）str.swapcase和str.capitalize
   分别表示交换字母大小写和大写首字母

2. isnumeric方法
   检查每一位是否都是数字

pd.Series(['1.2','1','-0.3','a',np.nan],dtype="string").str.isnumeric()

0    False
1     True
2    False
3    False
4     <NA>
dtype: boolean

问题

1.str对象方法和df/Series对象方法有什么区别？

2.给出一列string类型，如何判断单元格是否是数值型数据？

3.rsplit方法的作用是什么？它在什么场合下适用？

4.在本章的第二到第四节分别介绍了字符串类型的5类操作，请思考它们各自应用于什么场景？

练习

练习一

现有一份关于字符串的数据集，请解决以下问题：
（a）现对字符串编码存储人员信息（在编号后添加ID列），使用如下格式：“×××（名字）：×国人，性别×，生于×年×月×日”
（b）将（a）中的人员生日信息部分修改为用中文表示（如一九七四年十月二十三日），其余返回格式不变。
（c）将（b）中的ID列结果拆分为原列表相应的5列，并使用equals检验是否一致。

运用正则表达式去解决。

练习二

现有一份半虚拟的数据集，第一列包含了新型冠状病毒的一些新闻标题，请解决以下问题：
（a）选出所有关于北京市和上海市新闻标题的所在行。
（b）求col2的均值。
（c）求col3的均值。

主要是应用正则表达式来找出有问题的数据，从而可以进行均值计算。

当输入 df[‘col3’] 显示报错的时候，可能是index本身有格式上的错误，比如“col3 ”（后面多了空格），这时候可以用str.strip()删掉空格。

参考

[1] https://github.com/datawhalechina/joyful-pandas
[2] https://regexone.com/