[Pandas数据处理Debug记录]DataFrame.apply的使用

Pandas数据处理Debug记录

Pandas是Spark数据处理模块的较好替代方案，但是在实际使用中出现一些异常问题，在这里做一些Debug方案总结

问题1：apply函数通过args的传参抛出ValueError

    def predict(self, testData: pd.DataFrame):
        test = testData.drop(columns=["A"])
        # 更改数据类型为字符串(模型中可以识别的states都为字符串数据类型)
        test = test.astype(str)
        # 检查测试集中是否有模型无法识别的states
        test.apply(NetWork.unknwonCheck, axis=1, args=(self.BN.states,))
        res = self.BN.predict(test)
        res.index = test.index
        return res

问题描述：在apply函数中args=（）参数末尾必须加‘，’否则会报错
问题原因：args作为apply函数传参接口，可能自带一些逻辑（目前没太搞明白）必须在（）加‘,’才行。初步判断是为了让传入参数保持tuple数据格式。和底层逻辑有关

问题2：axis参数选择

问题描述：apply传入函数f用于按行处理，应用raw=False锁定传入f变量形式为Series，所以使用axis=0，但是报错KeyError，找不到对应的标签，但是经测试如果传入Series正常，是绝对可以找到标签的。

 f = lambda x: 1 if x['1']>x['0'] else 0
    predictions['res'] = predictions.apply(f, axis=0, raw=False)

问题解决方案：改axis=1问题解决，因为pandas这里0代表是对每列操作，1代表每行，和别的函数axis代表含义不同，真嘉宝坑
concate函数的axis参数：