0. 写在前面
以下这些数据处理函数是我在日常工作中可能会用到的一些功能。因为自己也是初学者,不免会出现无法在某些条件下不能正常运行或者效率低下的情况,烦请各位大神斧正。
函数会不定时更新,一般更新原因都是有了新想法或者工作上有了需求。
1. 数据处理
0. 字段重命名
- 更新时间:20210629
- 需求来源:在使用pandas导入数据时,有时候数据源的字段名命名可能会出现空格或者横杠等特殊符号,另外如果有首字母大写的话在编码阶段会不太方便,因此需要将字段名内的特殊符号转换为下划线,并且将英文字符转换为小写。
- 设计思路:使用pandas的内置函数str。
- 使用str.replace对特殊字符进行转换。
- 使用str.lower将大写英文字符转换为小写。
- 函数参数:
- df_name:数据框格式。需要处理的DataFrame名称。
- lower_switch:布尔值格式。默认为True,即默认转换为小写字符
代码实现如下:
def colrename(df_name,lower_switch = True):
string = r'\s+|\\|-|\n|\r'
temp_col = df_name.columns.str.replace(string,'_')
if lower_switch is True:
temp_col = temp_col.str.lower()
df_name.columns = temp_col