weixin_43687225的博客

原创 使用joblib对pandas进行计算优化

Pandas多进程计算使用joblib包让pandas开启并行计算pandas原语法使用joblib并行计算 使用joblib包让pandas开启并行计算 pandas原生并不知道多进程,多线程的使用,这里我们来使用joblib开启pandas多进程的使用(并行计算) pandas原语法 self.new_df = self.df.apply(lambda x: self._check(x), axis=1) 我们使用apply自定义函数我们对数据清洗,过滤,标记等操作 下面是我根据业务需要自定义数据过滤