0，阿里巴巴内部spring宝典意外流出

关于上面的代码，最酷的事情是它需要执行的内存量可以忽略不计！在筛选Vaex DataFrame时不会复制数据，而是仅创建对原始对象的引用，在该引用上应用二进制掩码。用掩码选择要显示的行，并将其用于将来的计算。这将为我们节省100GB的RAM，而像今天许多标准数据科学工具却要复制数据。

现在，检查一下该passenger_count列。单次出租车行程记录的最大乘客数为255，这似乎有些夸张。计算每次行程的乘客人数，使用以下value_counts方法很容易做到这一点：

在 10 亿行数据上使用 value_counts 方法只需要 20 秒

从上图可以看出，载客超过6人的行程可能是罕见的异常值，或者仅仅是错误的数据输入，还有大量的0位乘客的行程。由于目前我们尚不了解这些行程是否合法，因此我们也将其过滤掉。

让我们对行程距离进行类似的练习。由于这是一个连续变量，因此我们可以绘制行程距离的分布图。让我们绘制一个更合理范围的直方图。

纽约出租车数据行程距离直方图

从上图可以看出，出行次数随着距离的增加而减少。在距离约100英里处，分布有明显下降。目前，我们将以此为起点，根据行程距离消除极端离群值：

出行距离一列中存在极端异常值，这也是研究出行时间和出租车平均速度的动机。这些功能在数据集中尚不可用，但计算起来很简单：

上面的代码块无需内存，无需花费时间即可执行！这是因为代码只会创建虚拟列。这些列仅包含数学表达式，并且仅在需要时才进行评估。此外，虚拟列的行为与任何其他常规列都相同。注意，其他标准库将需要10 GB的RAM才能进行相同的操作。

好了，让我们来绘制行程耗费时间的分布：

纽约超过 10 亿次出租车行程耗费时间的直方图

从上面的图中可以看出，尽管有一些行程可能需要花费4至5个小时，但95％的出租车花费不到30分钟即可到达目的地。你能想象在纽约市被困出租车中超过3个小时吗？无论如何，我们要保持开放的态度，并考虑所有花费时间少于3小时的行程：

现在，让我们研究出租车的平均速度，同时选择一个合理的数据范围：

出租车平均速度分布

根据分布趋平的位置，我们可以推断出在每小时1到60英里之间合理的平均滑行速度，因此可以更新筛选后的DataFrame：

将重点转移到出租车费用上。从describe方法的输出中，我们可以看到在fare_amount，total_amount和tip_amount列中有一些疯狂的异常值。对于初学者，任何这些列中的任何值都不应为负。同时数字表明，一些幸运的司机仅凭开一次出租车便几乎成为了百万富翁。让我们看一下在相对合理的范围内这些数量的分布：

纽约超过 10 亿次出租车行程的车费、总额和小费的分布。在笔记本上绘制这些图表只用了 31 秒！

我们看到上述所有三个分布都有相当长的尾部。尾部的某些值可能是合法的，而其他值可能是错误的数据输入。无论如何，让我们先保守下，只考虑fare_amount，total_amount和tip_amount少于$200的行程。我们还要求fare_amount，total_amount值大于$0。

最后，在初步清理完所有数据之后，让我们看看有多少出租车数据需要进行分析：

还有超过11亿次旅行！大量的数据可以使你深入了解出租车行程背后的信息。

后记

此外，作者还从出租车司机最大化利润等角度利用Vaex进行分析数据。总之，Vaex会帮你缓解可能面临的一些数据挑战的问题。

有了 Vaex，你可以在短短几秒内遍历超过 10 亿行数据，计算各种统计、聚合并产出信息图表，这一切都能在你的笔记本电脑上完成。它免费且开源。

如果你对探索本文中用到的数据集感兴趣，可以直接在 S3 中配合 Vaex 使用它，请参阅完整的 Jupyter notebook 了解如何实现。

Vaex 官方网站：https://vaex.io/

文档：https：//docs.vaex.io/

GitHub：https : //github.com/vaexio/vaex

PyPi：https：//pypi.python.org/pypi/vaex/

一行荐书｜福利时间

安利一本???：《Python数据分析全能套装》此书数据分析与大数据处理所需的所有技术，包含基础理论、核心概念、实施流程，从编程语言准备、数据采集与清洗、数据分析与可视化，到大型数据的分布式存储与分布式计算等。感谢北京大学出版社的支持！点击下图可看详情/购买！???

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

一个人可以走的很快，但一群人才能走的更远。如果你从事以下工作或对以下感兴趣，欢迎戳这里加入程序员的圈子，让我们一起学习成长！

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

学习成长！**](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算