dataframe for循环 筛选_千万级别数据 de 筛选过滤，小一教你一招

↑关注+星标，听说他有点东西

全文共1607字，阅读全文需12分钟

大家好，我是小一

今天分享一个数据清洗小技巧，可以让你在遇到 百万、千万级别数据 的时候游刃有余。

先来说说问题的背景

现在有一个 csv 格式的数据集，大概 2千万条 左右的样子，存储的是用户的网络交互数据，其中电话号码作为用户的唯一标识。

再来看看我们要做啥

首先我们需要针对这批用户确定所属运营商，其次根据交互数据对各运营商的用户感知情况进行分析，最后给出各运营商的相应优化解决措施。

这个目标的第一部分：确定用户归属运营商，正好可以用今天这个小技巧去解决。

判断两千万个号码中每个号码归属的运营商，你应该首先会想到循环遍历。

但是你如果真的挨个号码去遍历一次，你会发现读一遍数据都需要好久，甚至可能会需要几分钟、十几分钟。

所以今天会用到 Pandas 中的矢量化操作，通过 isin 函数进行筛选过滤，完成上面这个任务 只需要一两秒

矢量化操作

矢量化