Apply函数进行数据预处理

Apply函数进行数据预处理

测试数据集：
包含两列：时间戳和字符串，大小为近8000行

在df中添加一列，使其全部都是a

将A列改的值为大写

df['A'] = df['A'].apply(str.upper)

使用apply进行预处理
将data数据拆分为三列

Apply接收一个函数作为参数，apply将会把指定列中的每一个值送给函数参数进行处理。

根据观察，data列的值其实是三个部分组成：
Symbol、Seqno、Price。
现在想把这一列变成三列。
就单个一个data的数据来说，可以用split方法进行拆分：

l1 = df['data'][0].strip().split(' ')
l1[1], l1[3],l1[5]  
>>>('APPL', '0', '1623')

定义一个用于处理所有数据的函数：

def foo(line):
    items = line.strip().split(' ')
    return Series([items[1], items[3], items[5]])
    
df_tmp = df['data'].apply(foo)  # 调用foo函数
df_tmp = df_tmp.rename(columns={0:"Symbol", 1:"Seqno", 2:"Price"}) # 给新的一行重命名

df_new = df.combine_first(df_tmp)  # 将新表和原表链接

删除多余的列并将文件写出csv：