【学习笔记】pandas_文本数据

一、String 类型的性质

1、string与object的区别

string类型和object不同之处有三：
① 字符存取方法（string accessor methods，如str.count）会返回相应数据的Nullable类型，而object会随缺失值的存在而改变返回类型
② 某些Series方法不能在string上使用，例如： Series.str.decode()，因为存储的是字符串而不是字节
③ string类型在缺失值存储或运算时，类型会广播为pd.NA，而不是浮点型np.nan，其余全部内容在当前版本下完全一致，但迎合Pandas的发展模式，我们仍然全部用string来操作字符串

2. string类型的转换

如果将一个其他类型的容器直接转换string类型可能会出错：如下图所示

pd.Series([1,'1.']).astype('string') #报错
pd.Series([1,2]).astype('string') #报错
pd.Series([True,False]).astype('string') #报错

正确的做法应该是先转换为 str 类型的，然后再转化为 string 类型。这样就不会报错。如下所示。

pd.Series([1,'1.']).astype('str').astype('string') #成功
pd.Series([1,2]).astype('str').astype('string') #成功
pd.Series([True,False]).astype('str').astype('string')#成功

二、拆分与拼接

1、str.split 方法

Series.str.split(self, pat=None, n=-1, expand=False)

• pat 分隔符或者正则表达式，默认为空格
• n 表示最多分割几次
• expand 表示分割后是否将列展开

2、str.cat 方法

Series.str.cat(self, others=None, sep=None, na_rep=None, join='left')

• sep 表示连接之后的数据的分隔符，默认为""
• na_rep 表示缺失值的替代字符，默认为None，也就是不替代
• join 表示连接方式，默认为左连接

三、替换

广义上的替换，就是指str.replace函数的应用，fillna是针对缺失值的替换。

1、str.replace 方法

Series.str.replace(self, pat, repl, n=-1, case=None, flags=0, regex=True)

• pat 要被替换的字符串或者以正则表达式的形式给出
• repl 要替换的字符串
• n 表示要替换的数量，默认全替换。

四、子串匹配与提取

1、str.extract 方法

Series.str.extract(self, pat, flags=0, expand=True)

• pat 表示要提取的模式，使用正则表达式获取
• expand 和前面说到的一样，要不要提取后是否要分开

五、常用字符串的方法

1、过滤型方法

1. str.strip() 常用于过滤空格
2. str.lower() 用于转换为小写字符
3. str.upper() 用于转换为大写字符
4. str.swapcase() 用于交换字符串中的大小写，小写的字符变成大写，大写的字符变成小写
5. str.capitalize() 用于大写首字母，其他的字母变成小写

2、isnumeric 方法

检查字符串中的每一位是否都是数字