Pandas文本数据
str对象
str对象的设计意图
str对象是定义在Index或Series上的属性,专门用于逐元素处理文本内容,其内部定义了大量方法,因此对一个序列进行文本处理,首先需要获取其str对象。
[]索引器
对于str对象而言,可理解为其对字符串进行了序列化的操作,例如在一般的字符串中,通过[ ]可以取出某个位置的元素
string类型
引入string的动机在于:原来所有的字符串类型都会以object类型的Series进行存储,但object类型只应当存储混合类型,例如同时存储浮点、字符串、字典、列表、自定义类型等,因此字符串有必要同数值型或category一样,具有自己的数据存放类型,从而引入了string类型。
正则表达式基础
一般字符的匹配
正则表达式是一种按照某种正则模式,从左到右匹配字符串中内容的一种工具。对于一般的字符而言,它可以找到其所在的位置,教程中使用了python中re模块的findall函数来匹配所有出现过但不重叠的模式,第一个参数是正则表达式,第二个参数是待匹配的字符串。
文本处理的五类操作
拆分
str.split能够把字符串的列进行拆分,其中第一个参数为正则表达式,可选参数包括从左到右的最大拆分次数n,是否展开为多个列expand。
与其类似的函数是str.rsplit,其区别在于使用n参数的时候是从右到左限制最大拆分次数。但是当前版本下rsplit因为bug而无法使用正则表达式进行分割。
合并
关于合并一共有两个函数,分别是str.join和str.cat。str.join表示用某个连接符把Series中的字符串列表连接起来,如果列表中出现了字符串元素则返回缺失值。
str.cat用于合并两个序列,主要参数为连接符sep、连接形式join以及缺失值替代符号na_rep,其中连接形式默认为以索引为键的左连接。
匹配
str.contains返回了每个字符串是否包含正则模式的布尔序列。str.startswith和str.endswith返回了每个字符串以给定模式为开始和结束的布尔序列,它们都不支持正则表达式。如果需要用正则表达式来检测开始或结束字符串的模式,可以使用str.match,其返回了每个字符串起始处是否符合给定正则模式的布尔序列。
替换
str.replace和replace并不是一个函数,在使用字符串替换时应当使用前者。当需要对不同部分进行有差别的替换时,可以利用子组的方法,并且此时可以通过传入自定义的替换函数来分别进行处理,注意group(k)代表匹配到的第k个子组(圆括号之间的内容)。
提取
提取既可以认为是一种返回具体元素(而不是布尔值或元素对应的索引位置)的匹配操作,也可以认为是一种特殊的拆分操作。前面提到的str.split例子中会把分隔符去除,这并不是用户想要的效果,这时候就可以用str.extract进行提取。
常用字符串函数
除了上述介绍的五类字符串操作有关的函数之外,str对象上还定义了一些实用的其他方法,在此进行介绍
字母型函数
upper, lower, title, capitalize, swapcase这五个函数主要用于字母的大小写转化。
数值型函数
这里着重需要介绍的是pd.to_numeric方法,它虽然不是str对象上的方法,但是能够对字符格式的数值进行快速转换和筛选。其主要参数包括errors和downcast分别代表了非数值的处理模式和转换类型。其中,对于不能转换为数值的有三种errors选项,raise, coerce, ignore分别表示直接报错、设为缺失以及保持原来的字符串。
在数据清洗时,可以利用coerce的设定,快速查看非数值型的行,
统计型函数
count和len的作用分别是返回出现正则模式的次数和字符串的长度。
合适型函数
格式型函数主要分为两类,第一种是除空型,第二种时填充型。其中,第一类函数一共有三种,它们分别是strip, rstrip, lstrip,分别代表去除两侧空格、右侧空格和左侧空格。这些函数在数据清洗时是有用的,特别是列名含有非法空格的时候。
对于填充型函数而言,pad是最灵活的,它可以选定字符串长度、填充的方向和填充内容。
练习
EX1:房屋信息数据集
// An highlighted block
df = pd.read_excel('../data/house_info.xls', usecols=['floor','year','area','price'])
df.year = pd.to_numeric(df.year.str[:-2]).astype('Int64')
df.head(3)
pat = '(\w层)(共(\d+)层)'
new_cols = df.floor.str.extract(pat).rename(columns={0:'Level', 1:'Highest'})
df = pd.concat([df.drop(columns=['floor']), new_cols], 1)
df.head(3)
s_area = pd.to_numeric(df.area.str[:-1])
s_price = pd.to_numeric(df.price.str[:-1])
df['avg_price'] = ((s_price/s_area)*10000).astype('int').astype('string') + '元/平米'
df.head(3)
EX2:《权力的游戏》剧本数据集
// An highlighted block
df = pd.read_csv('../data/script.csv')
df.columns = df.columns.str.strip()
df.groupby(['Season', 'Episode'])['Sentence'].count().head()
df.set_index('Name').Sentence.str.split().str.len().groupby('Name').mean().sort_values(ascending=False).head()
s = pd.Series(df.Sentence.values, index=df.Name.shift(-1))
s.str.count('\?').groupby('Name').sum().sort_values(ascending=False).head()
结语
考试周+deadline ,快不行了~