iloc函数_Pandas 中第二好用的函数是?

3bb2136de0d938961cd53212b1d17465.gif 6fd57d9f4b013935539309cf168fee32.png

作者 | 周志鹏责编 | 刘静

这是Python数据分析实战基础的第四篇内容,也是基础系列的最后一篇,接下来就进入实战系列了。 本文主要讲的是Pandas中第二好用的函数——apply。 为什么说第二好用呢? 做人嘛,最重要的就是谦虚,做函数也是一样的,而apply就是这样一个优雅而谦虚的函数。 我们单独用一篇来为apply树碑立传,原因有二,一是因为apply函数极其灵活高效,甚至是重新定义了pandas的灵活,一旦熟练运用,在数据清洗和分析界可谓是“屠龙在手,天下我有”; 二是apply概念相对晦涩,需要结合具体案例去咀嚼和实践。 Apply初体验 apply函数,因为她总是和分组函数一起出现,所以在江湖得了个“groupby伴侣”的称号。 她的主要作用是做聚合运算,以及在分组基础上根据实际情况来自定义一些规则,常见用法和参数如下: 210f961a1f03ed440e26b257ddd2c5a9.png 如果把源数据比作面粉,groupby分组就是把面粉揉成一个个面团的过程,apply起到的作用,是根据数据需求来调馅,并且把每一个面团包成我们喜欢的包子。 接下来,我们通过两个场景,更深入的感受下apply函数的优雅迷人。 场景一 背景: 我们拿到了一份4位同学三次模拟考试的成绩,想知道每位同学历次模拟中最好成绩和最差成绩分别是多少。 思路: 最好和最差,分别对应着max与min,我们先按姓名分组,再用apply函数返回对应的最大和最小值,最终将结果合并。 先导入源数据: bafc8816291884dd77c95eb75ef0c52f.png 看一看每位同学最高成绩: 437ba9153fbed77e2cf4956166cae353.png 我们指定“综合成绩”列,然后把max函数直接传入apply参数内,返回了对应分组内成绩的最大值。 有一些常见函数,如max、min、len等函数可以直接传入apply。 groupby分组默认会把分组依据列(姓名)变成索引,这里用reset_index方法重置或者说取消姓名索引,将它保留在列的位置,维持DataFrame格式,方便后续匹配。 再筛选出最低成绩: 22461bbbcacbd789b8328d562365bcb0.png 两张表按姓名合并: 2c573dc22a1c093a45e98c1c2341a58c.png 得到了我们预期的结果,只是列名略丑,可以用.columns方法来赋值更改。 场景一比较死板和严肃,场景二我们换个更接地气的风格。 场景二 背景: Boss丢过来一份省市销售表,里面包含省份、城市、最近1个月销售额3个字段,没等你开口问需求,Boss就开腔了: “小Z啊,我最近对3这个数字有执念,我想看看每个省份销售排名第3的都是哪些城市,以及他们的销售额情况。 对了,这个需求要尽快! ” 思路: 问题的关键是找到每个省份销售排名第3的城市,首先,应该对省份、城市按销售额进行降序排列,然后,找到对应排名第3的城市,Emmm,如果是排名第1的城市,我们可以通过排序后去重实现,但是这个排名第3,小Z疯狂挠头,还是没有什么思路。 于是弱弱的请求宽限时间: “领导,我觉得这个需求可能要花多一些时间,因为...” 75853d412b1ee6c4298b81e7a80a27ef.png “我不要你觉得! 我要我觉得! 现在是17:00,我觉得半个小时时间已经够充裕了! ”Boss放下了手中的《明学是怎样炼成的》,语气斩钉截铁又毋庸置疑。 小Z在无奈和绝望之中,想起了那句诗“假如数据清洗难住了你,不要悲伤,不要心急,忧郁的日子里需要apply”,一瞬间通透了。 说干就干,先导入数据源,对数据做个初步了解: c5f6935fce216d535f61812c10c8eadc.png 数据源有省份、城市、近1月销售额3个字段,一共210行(销售额)乱序排列,且都没有空值,整体比较规整。 要得到销售排名第3的城市,要先进行排序,这里我们用省份、近1月销售额两个关键字段进行降序排列,得到我们期待的顺序: fcba7248f3713af2bd53f41fb892df74.png 接着,在apply函数登场前,我们先详细剖析一下整个过程: 9dbac7c3d064366621a647b0a80e8b41.png apply的精髓,在于揉面和DIY(调馅)包子。 我们需要把源数据(面粉)给揉成一个个面团,再把一个个面团DIY成我们想要口味的包子。 其中,揉面的过程就是groupby分组,而DIY调馅做包子就是apply自定义函数和应用的过程。 结合我们的目标,揉面是按省份进行分组,得到每个省各个城市和对应销售额的面团; DIY包子是在每个面团中取其第三名的城市和销售额字段。 第一步分组非常简单,按省份分组即可。 而取第3名的城市和销售,表明我们需要城市和销售两个字段,所以在分组后指明这两列: 1ad8bed52494adf9f7320e40b6ab6d73.png 这一步,我们已经揉好了面,原始的面团也初步成型,虽然返回的结果有点晦涩,但是我们可以在脑海中构建一下这些面团,截图只展示了部分: 59ae7ff01c8f00e01e910b42f4054a1c.png 要把这些面团包成包子,就是要我们取出每一个面团中,排名第3的城市。 有个问题需要注意,有一些直辖市是和省并列的,而作为城市只有单独的一行,这样的城市我们就默认返回其本身的数据; 对于非直辖市省份来说,就需要定位筛选。 拿x2来举例,要找到这个面团中排名第三的城市和销售额,应该怎么做呢? 答案是直接索引,把他看作是一个DataFrame格式的表,要选取第3行的所有值,包括城市和销售额,这里用iloc索引,很简单的一行代码: 467390b6af70ee029f2bd1e33b039f42.png 下面把我们针对直辖市的判断和非直辖市的筛选逻辑整合成一个函数: e999fab1be0356640d0fbe3d8390bfbd.png 这个函数,将会在apply的带领下,对每一个分组进行批量化DIY,抽取出排名第3的城市和销售额,应用起来很简单: 4f284229909ac1f83165bd744e130c94.png 至此,每个省份,销售额排名第三的城市已经成功筛选出来。 回顾整个操作流程,先排序,后分组,最后通过定义函数传入apply,提取出我们的目标值。 分组后数据的抽象形态,以及如何判断和取出我们需要的值,是解决问题的关键和难点。 “报告老板! 筛选任务已经完成! ”apply在握,小Z底气变得格外的足。

作者:周志鹏,2年数据分析,深切感受到数据分析的有趣和学习过程中缺少案例的无奈,遂新开公众号「数据不吹牛」,定期更新数据分析相关技巧和有趣案例(含实战数据集),欢迎大家关注交流。

声明:本文为作者投稿,版权归作者个人所有。

【END】 020426d05ceb695d74769eccd52a9506.png

 热 文 推 荐 

☞微信支付宝关闭三星Galaxy指纹支付;乐视网回应贾跃亭破产;Chrome 78发布|极客头条 ☞论剑乌镇:历届互联网大会热词盘点 ☞ 为何Google、微软、华为将亿级源代码放一个仓库? ☞为什么我会重回到Windows的怀抱?

☞做好以下四点,拒做 “ 空心 ” 程序员 | CSDN 博文精选

☞【10.23头条】阿里云存储负责人吴结生:安全可靠是云存储立身之本, 智能技术将激活存储技术新变革

☞推荐系统中的前沿技术研究与落地:深度学习、AutoML与强化学习 | AI ProCon 2019

☞超强攻略! 40道高频区块链面试题大放送, 年底跳槽看过来!| 博文精选

☞这个卷走175个国家和地区45亿英镑的“加密女王”忽然失踪,骗局崩盘

7c994607950fd544ec452eedec129c6e.gif 83ecc03f7c1bd078ea1d9f55a2d3a58c.png 你点的每个“在看”,我都认真当成了喜欢
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值