joyful pandas 第7章 文本数据

本文详细介绍了Pandas中字符串类型(string)的性质,包括string与object的区别、字符串的拆分与拼接、替换操作、子串匹配与提取,以及常用字符串方法。重点讲解了str.split、str.cat、str.replace及其注意事项,以及str.extract和str.contains等方法的使用。此外,还提出了几个关于字符串处理的问题和练习。
摘要由CSDN通过智能技术生成

import pandas as pd
import numpy as np

一、string类型的性质

1. string与object的区别

string类型和object不同之处有三:
① 字符存取方法(string accessor methods,如str.count)会返回相应数据的Nullable类型,而object会随缺失值的存在而改变返回类型
② 某些Series方法不能在string上使用,例如: Series.str.decode(),因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时,类型会广播为pd.NA,而不是浮点型np.nan
其余全部内容在当前版本下完全一致,但迎合Pandas的发展模式,我们仍然全部用string来操作字符串

2. string类型的转换

如果将一个其他类型的容器直接转换string类型可能会出错:

当下正确的方法是分两部转换,先转为str型object,在转为string类型:
在这里插入图片描述

二、拆分与拼接

1. str.split方法

(a)分割符与str的位置元素选取

在这里插入图片描述

根据某一个元素分割,默认为空格
在这里插入图片描述

这里需要注意split后的类型是object,因为现在Series中的元素已经不是string,而包含了list,且string类型只能含有字符串
对于str方法可以进行元素的选择,如果该单元格元素是列表,那么str[i]表示取出第i个元素,如果是单个元素,则先把元素转为列表在取出

在这里插入图片描述

(b)其他参数

expand参数控制了是否将列拆开,n参数代表最多分割多少次
在这里插入图片描述

2. str.cat方法

(a)不同对象的拼接模式

cat方法对于不同对象的作用结果并不相同,其中的对象包括:单列、双列、多列
① 对于单个Series而言,就是指所有的元素进行字符合并为一个字符串

在这里插入图片描述

其中可选sep分隔符参数,和缺失值替代字符na_rep参数

② 对于两个Series合并而言,是对应索引的元素进行合并

在这里插入图片描述

同样也有相应参数,需要注意的是两个缺失值会被同时替换
在这里插入图片描述

③ 多列拼接可以分为表的拼接和多Series拼接
表的拼接
在这里插入图片描述
多个Series拼接
在这里插入图片描述

(b)cat中的索引对齐

当前版本中,如果两边合并的索引不相同且未指定join参数,默认为左连接,设置join=‘left’
在这里插入图片描述

三、替换

广义上的替换,就是指str.replace函数的应用,fillna是针对缺失值的替换,上一章已经提及
提到替换,就不可避免地接触到正则表达式,这里默认读者已掌握常见正则表达式知识点,若对其还不了解的,可以通过这份资料来熟悉

1. str.replace的常见用法

在这里插入图片描述
第一个值写r开头的正则表达式,后一个写替换的字符串
在这里插入图片描述

2. 子组与函数替换

通过正整数调用子组(0返回字符本身,从1开始才是子组)
在这里插入图片描述
利用?P<…>表达式可以对子组命名调用在这里插入图片描述

3. 关于str.replace的注意事项

首先,要明确str.replace和replace并不是一个东西:
str.replace针对的是object类型或string类型,默认是以正则表达式为操作,目前暂时不支持DataFrame上使用
replace针对的是任意类型的序列或数据框,如果要以正则表达式替换,需要设置regex=True,该方法通过字典可支持多列替换
但现在由于string类型的初步引入,用法上出现了一些问题,这些issue有望在以后的版本中修复

(a)str.replace赋值参数不得为pd.NA

这听上去非常不合理,例如对满足某些正则条件的字符串替换为缺失值,直接更改为缺失值在当下版本就会报错
在这里插入图片描述
此时,可以先转为object类型再转换回来,曲线救国:
在这里插入图片描述
至于为什么不用replace函数的regex替换(但string类型replace的非正则替换是可以的),原因在下面一条

(b)对于string类型Series,在使用replace函数时不能使用正则表达式替换

该bug现在还未修复
在这里插入图片描述

(c)string类型序列如果存在缺失值,不能使用replace替换

在这里插入图片描述
综上,概况的说,除非需要赋值元素为缺失值(转为object再转回来),否则请使用str.replace方法

四、子串匹配与提取

1. str.extract方法

(a)常见用法

在这里插入图片描述

使用子组名作为列名
在这里插入图片描述
利用?正则标记选择部分提取
在这里插入图片描述

(b)expand参数(默认为True)

对于一个子组的Series,如果expand设置为False,则返回Series,若大于一个子组,则expand参数无效,全部返回DataFrame
对于一个子组的Index,如果expand设置为False,则返回提取后的Index,若大于一个子组且expand为False,报错
在这里插入图片描述
在这里插入图片描述

2. str.extractall方法

与extract只匹配第一个符合条件的表达式不同,extractall会找出所有符合条件的字符串,并建立多级索引(即使只找到一个)
在这里插入图片描述
如果想查看第i层匹配,可使用xs方法
在这里插入图片描述

3. str.contains和str.match

前者的作用为检测是否包含某种正则模式
在这里插入图片描述
可选参数为na
在这里插入图片描述
str.match与其区别在于,match依赖于python的re.match,检测内容为是否从头开始包含该正则模式
在这里插入图片描述

五、常用字符串方法

1. 过滤型方法

(a)str.strip

常用于过滤空格
在这里插入图片描述

(b)str.lower和str.upper

在这里插入图片描述

(c)str.swapcase和str.capitalize

分别表示交换字母大小写和大写首字母
在这里插入图片描述

2. isnumeric方法

检查每一位是否都是数字,请问如何判断是否是数值?(问题二)
在这里插入图片描述

六、问题与练习

1. 问题

【问题一】 str对象方法和df/Series对象方法有什么区别?

  • Pandas 为 Series 提供了 str 属性,通过它可以方便的对每个元素进行操作。通过 str 属性来访问之后用到的方法名与 Python 内置的字符串的方法名一样。并且能够自动排除缺失值。
  • 对 Series 中每个元素处理时,我们可以使用 map 或 apply 方法。

【问题二】 给出一列string类型,如何判断单元格是否是数值型数据?

在这里插入图片描述

【问题三】 rsplit方法的作用是什么?它在什么场合下适用?
rsplit() 方法通过指定分隔符对字符串进行分割并返回一个列表,默认分隔符为所有空字符,包括空格、换行(\n)、制表符(\t)等。类似于 split() 方法,只不过是从字符串最后面开始分割。

【问题四】 在本章的第二到第四节分别介绍了字符串类型的5类操作,请思考它们各自应用于什么场景?

2. 练习

【练习一】 现有一份关于字符串的数据集,请解决以下问题:
(a)现对字符串编码存储人员信息(在编号后添加ID列),使用如下格式:“×××(名字):×国人,性别×,生于×年×月×日”
(b)将(a)中的人员生日信息部分修改为用中文表示(如一九七四年十月二十三日),其余返回格式不变。
(c)将(b)中的ID列结果拆分为原列表相应的5列,并使用equals检验是否一致。

pd.read_csv('String_data_one.csv',index_col='人员编号').head()

在这里插入图片描述

aaa = pd.read_csv('String_data_one.csv',index_col='人员编号')#.convert_dtypes()
aaa['ID']=aaa['姓名']
aaa['ID']=aaa['ID'].str.cat(["(名字)"+':'+aaa['国籍'].astype(str).astype('string')+'国人,性别'+aaa['性别']+',生于'+aaa['出生年'].astype(str).astype('string')+'年'+aaa['出生月'].astype(str).astype('string')+'月'+aaa['出生日']<
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值