Pyhton科学计算工具Pandas（六）—— 文本数据处理

Pyhton科学计算工具Pandas（六）—— 文本数据处理

Pandas针对字符串配备的一套方法，使其易于对数组的每个元素进行操作

字符串的常用方法

字符计数，自动排除丢失/NA值

# 通过str访问，且自动排除丢失/ NA值

s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
                  'key2':['hee','fv','w','hija','123',np.nan]})
print(s)
print(df)
print('-----')

print(s.str.count('b'))  

0          A
1          b
2          C
3    bbhello
4        123
5        NaN
6         hj
dtype: object
  key1  key2
0    a   hee
1    b    fv
2    c     w
3    d  hija
4    e   123
5    f   NaN
-----
0    0.0
1    1.0
2    0.0
3    2.0
4    0.0
5    NaN
6    0.0
dtype: float64

字符串大小写

s = pd.Series(['A','asd','123',np.nan])
print(s)
print('-----')
print(s.str.lower(),'→ lower小写\n')
print(s.str.upper(),'→ upper大写\n')

#  NAN 直接忽略

0      A
1    asd
2    123
3    NaN
dtype: object
-----
0      a
1    asd
2    123
3    NaN
dtype: object → lower小写

0      A
1    ASD
2    123
3    NaN
dtype: object → upper大写

字符串长度及起止判断

s = pd.Series(['A','b','bbhello','123',np.nan])
print(s)
print('-----')
print(s.str.len(),'→ len字符长度\n')
print(s.str.startswith('b'),'→ 判断起始是否为a\n')
print(s.str.endswith('3'),'→ 判断结束是否为3\n')

0          A
1          b
2    bbhello
3        123
4        NaN
dtype: object
-----
0    1.0
1    1.0
2    7.0
3    3.0
4    NaN
dtype: float64 → len字符长度

0    False
1     True
2     True
3    False
4      NaN
dtype: object → 判断起始是否为a

0    False
1    False
2    False
3     True
4      NaN
dtype: object → 判断结束是否为3

字符串删除空格

1. .strip() 删除两端的空格
2. .lstrip() 删除左边的空格
3. .rstrip() 删除右边的空格

#删除字符串中的空格  .strip()   ，  .lstrip()  ，  .rstrip()


s = pd.Series(['  jack', 'jill  ', '  jesse  ', 'frank'])
df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
                  index=range(3))
print(s)
print(df)
print('-----')

print(s.str.strip().values)  # 去除字符串中的空格
print(s.str.lstrip().values)  # 去除字符串中的左空格
print(s.str.rstrip().values)  # 去除字符串中的右空格
print('-----')


df.columns = df.columns.str.strip()
print(df)
# 这里去掉了columns的前后空格，但没有去掉中间空格

0         jack
1       jill  
2      jesse  
3        frank
dtype: object
    Column A    Column B 
0    0.807158   -0.759207
1   -0.380771   -0.816461
2    0.160034    1.014544
-----
['jack' 'jill' 'jesse' 'frank']
['jack' 'jill  ' 'jesse  ' 'frank']
['  jack' 'jill' '  jesse' 'frank']
-----
   Column A  Column B
0  0.807158 -0.759207
1 -0.380771 -0.816461
2  0.160034  1.014544

字符串的替换

# 字符串常用方法（3） - replace

df = pd.DataFrame(np.random.randn(3, 2), columns=[' Column A ', ' Column B '],
                  index=range(3))
df.columns = df.columns.str.replace(' ','-')
print(df)
# 替换

df.columns = df.columns.str.replace('-','￥',n=2)
print(df)
# n：替换个数

   -Column-A-  -Column-B-
0    1.097967    0.017149
1   -0.079448    0.603613
2   -0.205197    0.654724
   ￥Column￥A-  ￥Column￥B-
0    1.097967    0.017149
1   -0.079448    0.603613
2   -0.205197    0.654724

字符串的拆分

#字符串常用方法（4） - split、rsplit

s = pd.Series(['a,b,c','1,2,3',['a,,,c'],np.nan])
print(s)
print('-----')

print(s.str.split(','))  # 拆分后返回一个list
print('----')

print(s.str.split(',')[0])
print(s.str.split(',').str.get(1))
print('-----')
# 可以使用get或[]符号访问拆分列表中的元素

print(s.str.split(',', expand=True))
print(s.str.split(',', expand=True, n = 1))
print(s.str.rsplit(',', expand=True, n = 1))
print('-----')
# 可以使用expand可以轻松扩展此操作以返回DataFrame
# n参数限制分割数
# rsplit类似于split，反向工作，即从字符串的末尾到字符串的开头

df = pd.DataFrame({'key1':['a,b,c','1,2,3',[':,., ']],
                  'key2':['a-b-c','1-2-3',[':-.- ']]})
print(df['key2'].str.split('-'))
# Dataframe使用split

0      a,b,c
1      1,2,3
2    [a,,,c]
3        NaN
dtype: object
-----
0    [a, b, c]
1    [1, 2, 3]
2          NaN
3          NaN
dtype: object
----
['a', 'b', 'c']
0      b
1      2
2    NaN
3    NaN
dtype: object
-----
     0    1    2
0    a    b    c
1    1    2    3
2  NaN  NaN  NaN
3  NaN  NaN  NaN
     0    1
0    a  b,c
1    1  2,3
2  NaN  NaN
3  NaN  NaN
     0    1
0  a,b    c
1  1,2    3
2  NaN  NaN
3  NaN  NaN
-----
0    [a, b, c]
1    [1, 2, 3]
2          NaN
Name: key2, dtype: object

字符串索引

# 字符串索引

s = pd.Series(['A','b','C','bbhello','123',np.nan,'hj'])
df = pd.DataFrame({'key1':list('abcdef'),
                  'key2':['hee','fv','w','hija','123',np.nan]})

print(s.str[0])  # 取第一个字符串
print(s.str[:2])  # 取前两个字符串
print(df['key2'].str[0]) 
# str之后和字符串本身索引方式相同