Pyhton科学计算工具Pandas(六)—— 文本数据处理
Pandas针对字符串配备的一套方法,使其易于对数组的每个元素进行操作
字符串的常用方法
字符计数,自动排除丢失/NA值
# 通过str访问,且自动排除丢失/ NA值
s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
'key2':['hee','fv','w','hija','123',np.nan]})
print(s)
print(df)
print('-----')
print(s.str.count('b'))
0 A
1 b
2 C
3 bbhello
4 123
5 NaN
6 hj
dtype: object
key1 key2
0 a hee
1 b fv
2 c w
3 d hija
4 e 123
5 f NaN
-----
0 0.0
1 1.0
2 0.0
3 2.0
4 0.0
5 NaN
6 0.0
dtype: float64
字符串大小写
s = pd.Series(['A','asd','123',np.nan])
print(s)
print('-----')
print(s.str.lower(),'→ lower小写\n')
print(s.str.upper(),'→ upper大写\n')
# NAN 直接忽略
0 A
1 asd
2 123
3 NaN
dtype: object
-----
0 a
1 asd
2 123
3 NaN
dtype: object → lower小写
0 A
1 ASD
2 123
3 NaN
dtype: object → upper大写
字符串长度及起止判断
s = pd.Series(['A','b','bbhello','123',np.nan])
print(s)
print('-----')
print(s.str.len(),'→ len字符长度\n')
print(s.str.startswith('b'),'→ 判断起始是否为a\n')
print(s.str.endswith('3'),'→ 判断结束是否为3\n')
0 A
1 b
2 bbhello
3 123
4 NaN
dtype: object
-----
0 1.0
1 1.0
2 7.0
3 3.0
4 NaN
dtype: float64 → len字符长度
0 False
1 True
2 True
3 False
4 NaN
dtype: object → 判断起始是否为a
0 False
1 False
2 False
3 True
4 NaN
dtype: object → 判断结束是否为3
字符串删除空格
- .strip() 删除两端的空格
- .lstrip() 删除左边的空格
- .rstrip() 删除右边的空格
#删除字符串中的空格 .strip() , .lstrip() , .rstrip()
s = pd.Series([' jack', 'jill ', ' jesse ', 'frank'])
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
index=range(3))
print(s)
print(df)
print('-----')
print(s.str.strip().values) # 去除字符串中的空格
print(s.str.lstrip().values) # 去除字符串中的左空格
print(s.str.rstrip().values) # 去除字符串中的右空格
print('-----')
df.columns = df.columns.str.strip()
print(df)
# 这里去掉了columns的前后空格,但没有去掉中间空格
0 jack
1 jill
2 jesse
3 frank
dtype: object
Column A Column B
0 0.807158 -0.759207
1 -0.380771 -0.816461
2 0.160034 1.014544
-----
['jack' 'jill' 'jesse' 'frank']
['jack' 'jill ' 'jesse ' 'frank']
[' jack' 'jill' ' jesse' 'frank']
-----
Column A Column B
0 0.807158 -0.759207
1 -0.380771 -0.816461
2 0.160034 1.014544
字符串的替换
# 字符串常用方法(3) - replace
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
index=range(3))
df.columns = df.columns.str.replace(' ','-')
print(df)
# 替换
df.columns = df.columns.str.replace('-','¥',n=2)
print(df)
# n:替换个数
-Column-A- -Column-B-
0 1.097967 0.017149
1 -0.079448 0.603613
2 -0.205197 0.654724
¥Column¥A- ¥Column¥B-
0 1.097967 0.017149
1 -0.079448 0.603613
2 -0.205197 0.654724
字符串的拆分
#字符串常用方法(4) - split、rsplit
s = pd.Series(['a,b,c','1,2,3',['a,,,c'],np.nan])
print(s)
print('-----')
print(s.str.split(',')) # 拆分后返回一个list
print('----')
print(s.str.split(',')[0])
print(s.str.split(',').str.get(1))
print('-----')
# 可以使用get或[]符号访问拆分列表中的元素
print(s.str.split(',', expand=True))
print(s.str.split(',', expand=True, n = 1))
print(s.str.rsplit(',', expand=True, n = 1))
print('-----')
# 可以使用expand可以轻松扩展此操作以返回DataFrame
# n参数限制分割数
# rsplit类似于split,反向工作,即从字符串的末尾到字符串的开头
df = pd.DataFrame({'key1':['a,b,c','1,2,3',[':,., ']],
'key2':['a-b-c','1-2-3',[':-.- ']]})
print(df['key2'].str.split('-'))
# Dataframe使用split
0 a,b,c
1 1,2,3
2 [a,,,c]
3 NaN
dtype: object
-----
0 [a, b, c]
1 [1, 2, 3]
2 NaN
3 NaN
dtype: object
----
['a', 'b', 'c']
0 b
1 2
2 NaN
3 NaN
dtype: object
-----
0 1 2
0 a b c
1 1 2 3
2 NaN NaN NaN
3 NaN NaN NaN
0 1
0 a b,c
1 1 2,3
2 NaN NaN
3 NaN NaN
0 1
0 a,b c
1 1,2 3
2 NaN NaN
3 NaN NaN
-----
0 [a, b, c]
1 [1, 2, 3]
2 NaN
Name: key2, dtype: object
字符串索引
# 字符串索引
s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
'key2':['hee','fv','w','hija','123',np.nan]})
print(s.str[0]) # 取第一个字符串
print(s.str[:2]) # 取前两个字符串
print(df['key2'].str[0])
# str之后和字符串本身索引方式相同