Polars简明基础教程六：什么是Polars的“DataFrame（数据框）_下”

已于 2024-08-12 15:01:48 修改
阅读量573 收藏 16
点赞数 11
分类专栏： Polars简明基础教程系列 文章标签： 数据挖掘 人工智能 python
于 2024-08-10 17:29:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sosogod/article/details/141092857
版权

 Apache Arrow

经典的Pandas DataFrame将数据存储在Numpy数组中。而在Polars中，数据被存储在Arrow表中。

我们可以通过调用to_arrow来查看这个Arrow表——这是一个廉价的操作，因为它只是查看底层数据。

df.to_arrow()

pyarrow.Table
survived: int64
pclass: int64
sex: large_string
age: double
sibsp: int64
parch: int64
fare: double
embarked: large_string
class: large_string
who: large_string
adult_male: bool
deck: large_string
embark_town: large_string
alive: large_string
alone: bool
----
survived: [[0,1,1,1,0,...,0,1,0,1,0]]
pclass: [[3,1,3,1,3,...,2,1,3,1,3]]
sex: [["male","female","female","female","male",...,"male","female","female","male","male"]]
age: [[22,38,26,35,35,...,27,19,null,26,32]]
sibsp: [[1,1,0,1,0,...,0,0,1,0,0]]
parch: [[0,0,0,0,0,...,0,0,2,0,0]]
fare: [[7.25,71.2833,7.925,53.1,8.05,...,13,30,23.45,30,7.75]]
embarked: [["S","C","S","S","S",...,"S","S","S","C","Q"]]
class: [["Third","First","Third","First","Third",...,"Second","First","Third","First","Third"]]
who: [["man","woman","woman","woman","man",...,"man","woman","woman","man","man"]]
...

Arrow表是Arrow数组的集合——这些是一维向量，是基本的数据存储。我们可以通过在Series上调用to_arrow来查看某列的Arrow数组。

df["age"].to_arrow()


[
  22,
  38,
  26,
  35,
  35,
  null,
  54,
  2,
  27,
  14,
  ...
  33,
  22,
  28,
  25,
  39,
  27,
  19,
  null,
  26,
  32
]

Apache Arrow是什么？

Apache Arrow是一个开源的跨语言项目，用于在内存中存储表格数据。

Apache Arrow 是一个跨平台的开发库，用于在内存中高效处理大型数据集。它最初由 Databricks 开发，并于 2016 年捐赠给 Apache 软件基金会。Arrow 的主要目标是在不同的系统之间提供高性能的数据交换和处理。

以下是 Apache Arrow 的一些关键特点：

  1. 列式存储:Arrow 使用列式存储格式，这意味着每一列数据都连续存储在内存中。这种格式非常适合批量数据处理，因为它能够利用现代 CPU 的缓存行为来提高数据访问效率。

  2. 零拷贝读取:Arrow 支持零拷贝读取，这意味着数据可以在不复制的情况下被多个进程共享。这有助于减少数据传输过程中的开销。

  3. 类型安全:Arrow 数据结构是类型安全的，这意味着数据类型在内存中是明确指定的。这对于避免运行时错误和提高性能非常重要。

  4. 跨语言兼容性:Arrow 支持多种编程语言，包括 C++、Java、Python、JavaScript、Rust 和更多。这意味着使用不同语言编写的程序可以共享相同的数据格式，而不需要额外的转换步骤。

  5. 高性能矢量化操作:Arrow 提供了用于矢量化操作的库函数，这些函数可以在整个数据集上并行执行，从而显著提高数据处理的速度。

  6. 支持多种数据源:Arrow 可以与多种数据源集成，包括关系数据库、NoSQL 存储系统、文件系统等。

  7. Parquet 文件格式集成:Arrow 与 Parquet 文件格式紧密集成，使得 Arrow 可以高效地读写 Parquet 文件。

  8. 用于大数据处理的生态系统集成:Arrow 被多个大数据处理框架和工具所采用，例如 Apache Spark、Pandas、Dask、Vaex、Polars 和 Flink。

Apache Arrow是：

  •  一个关于数据如何在内存中表示的规范
  • 一组在不同语言中实现该规范的库 

Polars使用了Rust库[Arrow2]中的Arrow规范实现。

 为什么Polars使用Apache Arrow？

当人们意识到专为科学计算设计的Numpy数组并不是表格数据的最佳数据存储方式时，Apache Arrow项目应运而生。

Apache Arrow 在数据科学和大数据领域变得越来越流行，因为它提高了数据处理的效率，并简化了不同系统之间的数据交换。

Arrow允许：

  • 无需复制即可共享数据（称为“零拷贝”）
  • 更快的向量化计算
  • 分块处理大于内存的数据
  • 缺失数据的一致表示 

总体而言，由于Arrow，Polars可以更快且更少地使用内存来处理数据。

 Apache Arrow的缺点是什么？

Arrow的设计优化了对一维列的操作，而Numpy的设计优化了对多维数组的操作。这种权衡意味着与Numpy相比，使用Arrow数据进行某些类型的操作会更慢：

  •  转换数据帧
  • 在数据帧上进行矩阵乘法/线性代数运算 

对于这种需要按行和列访问数据的用例，转换为Numpy数组可能更快（请参阅关于转换的讲座）。

 那么Polars DataFrame和Arrow数据之间的关系是什么？

Polars DataFrame持有对Arrow表的引用，该表又持有对Arrow数组的引用。我们可以将Polars DataFrame视为一个轻量级对象，它指向轻量级的Arrow表，该表又指向重量级的Arrow数组（重量级是因为它们持有实际数据）。

这种分离的结构意味着我们可以对便宜的DataFrame包装器进行更改，而不复制（或复制最小量）任何数据，因为所有实际数据都存储在Arrow数组中。这种设计允许Polars提供快速且内存高效的数据处理功能。

df_shape = (1_000_000,100)
df_polars = pl.DataFrame(
    np.random.standard_normal(df_shape)
)

df_polars.shape

删除列

我们将查看从Polars DataFrame中删除一个列需要多长时间。我们使用IPython的timeit模块来比较性能（我们将在课程后面的部分中学习更多关于timeit的知识）。

%%timeit -n1 -r3

df_polars.drop("column_0")

Polars执行此操作非常快（比传统的Pandas快得多）。这是因为Polars只是创建了一个新的DataFrame对象（这是一个廉价的操作），该对象指向除了column_0之外的所有Arrow数组。基本上，Polars只是遍历列名列表来执行此操作！

重命名列

当我们更改DataFrame的某些不影响列中实际数据的部分时，会产生类似的效果。例如，如果我们重命名一个列...

%%timeit -n1 -r3

df_polars.rename({"column_0":"a"})

Polars再次以非常快的速度完成此操作，因为它只是更新列名并检查列名是否仍然唯一。

克隆DataFrame

或者，如果我们通过克隆来创建一个新的DataFrame...

%%timeit -n1 -r3

df_polars.clone()

在这种情况下，Polars创建了一个新的DataFrame对象，它指向相同的Arrow表。

更新克隆的DataFrame

尽管新的和旧的DataFrame最初指向相同的Arrow表，但我们不需要担心对其中一个所做的更改会影响另一个。

如果我们对其中一个DataFrame（比如新的DataFrame）中的值进行修改，那么新的DataFrame将：

  •  将已更改列中的数据复制到新的Arrow数组中
  • 创建一个新的Arrow表，该表指向更新后的Arrow数组以及未更改的Arrow数组 

因此，现在我们有了：

  •  两个DataFrame，它们指向：
  • 两个Arrow表，它们指向：
  • 对于未更改的列，是相同的Arrow数组；对于已更改的列，是不同的Arrow数组 

通过这种方式，我们创建了一个新的DataFrame，但只需要复制已更改列中的数据。在这个示例中，我们更改了第一行中的第一个值，我们可以看到对新的DataFrame的更改不会影响旧的DataFrame。

df_polars2 = df_polars.clone()
df_polars2[0,0] = 1000
df_polars2[0,0]

在原始的DataFrame中，我们仍然保留着原始的值。

df_polars[0,0]

练习

在练习中，您将加深以下内容的理解：

  1. - 获取DataFrame的数据类型（dtypes）
  2. - 获取Series的数据类型（dtypes）

 练习 1

这个DataFrame的数据类型（dtypes）是什么？

df = pl.DataFrame({'a':[0,1,2],'b':[0,1,2.0]})

df<blank>

练习 2

通过选择df的a列来创建一个Series

df = pl.DataFrame({'a':[0,1,2],'b':[0,1,2.0]})

 df<blank>

a的数据类型是什么？

b的数据类型是什么？

解决方案

 练习 1 的解决方案

这个DataFrame的数据类型（dtypes）是什么？

df = pl.DataFrame({'a':[0,1,2],'b':[0,1,2.0]})
df.schema

练习 2 的解决方案

通过选择df的a列来创建一个Series

df = pl.DataFrame({'a':[0,1,2],'b':[0,1,2.0]})
s = df["a"]
s

“s”有一个 64 位整数数据类型（dtype）

s2 = df["b"]

s2

s2 有一个 64 位浮点数据类型（dtype）

Polars简明基础教程系列

Polars简明基础教程一：Polars快速入门

Polars简明基础教程二：懒惰模式 1：引入懒惰模式

Polars简明基础教程三：懒惰模式 1：引入懒惰模式（续）

Polars简明基础教程四：懒惰模式 2：评估查询

Polars简明基础教程五：什么是Polars的“DataFrame（数据框）_上”

Polars简明基础教程六：什么是Polars的“DataFrame（数据框）_下”

Polars简明基础教程七：Series 和 DataFrame 以及它们之间的转换_A

Polars简明基础教程八：Series 和 DataFrame 以及它们之间的转换_B

sosogod
关注
专栏目录
Polars简明基础教程四：懒惰模式 2：评估查询
sosogod的博客
08-09 1036
在这篇博客文章中，我建议对于许多用例，打开流式模式可能是一个好的默认设置（这就是我在我的机器学习管道中所做的）默认情况下，当我们评估一个 “LazyFrame ”时，Polars 会将整个 “DataFrame ”加载到内存中。我们可能希望保存查询中的中间值。因此，我们在转换回惰性模式之前触发评估以创建一个可以保存的 DataFrame。在某些情况下，我们有一个 DataFrame 并希望将其转换为 LazyFrame。当我们触发评估时，我们将 LazyFrame 转换为 DataFrame。
Polars简明基础教程五：什么是Polars的“DataFrame（数据框）_上”
sosogod的博客
08-10 650
pl.Int32 与 pl.Float32 -> pl.Float64（遵循Numpy的约定，整数和浮点数组合时，转换为浮点数类型，并尽量扩展至更大的位宽）是 Polars 中的一种抽象类型，它能够表示一个 Series 中可能存在的多种具体类型。- 任何dtype 与 pl.Utf8 -> pl.Utf8（任何数据类型都可以转换为字符串类型，因此任何列都可以被转换为Utf8类型）- pl.Int64 与 pl.Boolean -> pl.Boolean（整数与布尔值的组合通常导致布尔值类型）
Polars简明基础教程八：Series 和 DataFrame 以及它们之间的转换_B
sosogod的博客
08-12 1187
我们还可以使用to_series从单列的DataFrame中创建一个Series（我们将在本课程的下一节中进一步学习select方法）Series中的名称应为groups。通过将这些作为Python dict传递给pl.DataFrame来创建一个DataFrame。在“选择列和转换DataFrame”部分中，我们将看到如何从列表中向DataFrame添加列。我们可以使用to_frame将Series转换为单列的DataFrame。在练习中，我们将看到如何从dict中创建一个DataFrame。
Polars简明基础教程七：Series 和 DataFrame 以及它们之间的转换_A
sosogod的博客
08-12 1482
polars
Polars简明基础教程一：Polars快速入门
sosogod的博客
07-29 1337
在这个例子中，我们将添加一个列，其中包含每个舱位中乘客的最大年龄。在Python中（而不是特指Polars），当我们将代码包裹在括号中时，我们可以在新行上调用一个新方法——在这种情况下是select。在这里，我们看到一个使用表达式API的简单示例，其中我们在select语句中选择Pclass、Name和Age列（我们将在第3节中深入了解select语句）。表达式是一个函数，它接受一个Series（或DataFrame中的列）作为输入，并返回一个Series（或DataFrame中的列）。
Polars简明基础教程十一：可视化(一)
sosogod的博客
08-14 1162
在 Polars 中，hvPlot 的功能已经被内化了，用户可以直接在 Polars DataFrame 上调用 hvPlot 的方法来创建图表，无需像以前那样先将数据转换为 Pandas DataFrame 或者单独使用 hvPlot 的函数。它通过在服务器端执行更多的数据处理和渲染工作，从而减轻客户端浏览器的负担，使图表响应更快、更流畅。在这个例子中，我们根据乘客等级（pclass）的颜色进行散点图绘制，以年龄（age）为横坐标，票价（fare）为纵坐标，并控制图表的宽度。
Polars简明基础教程二：懒惰模式 1：引入懒惰模式
sosogod的博客
08-08 750
Polars的开发人员所说的“昂贵”实际上是指到达架构需要一些计算，并且随着查询计划的增长，这种计算所需的时间也会增长。然而，当我们尝试获取LazyFrame的架构时，会得到一个警告，指出这可能是一个昂贵的操作，因为Polars需要遍历查询计划的逻辑来确定最终的列和数据类型会是什么。我们通过在一个LazyFrame上调用collect方法将LazyFrame转换为一个DataFrame——这会根据查询计划处理你的数据。LazyFrame实际上是一个查询计划——一个关于Polars如何转换你的数据的计划。
Polars：Rust DataFrame库
02-05
Rust和Python的数据帧速度飞快 Polars是在Rust中实现的一种快速的DataFrames库。 它的内存模型使用Apache Arrow作为后端。 目前，它由一个类似于pandas的eager API和一个有点类似于spark的lazy API组成。 其中，...
PyPI 官网下载 | polars-0.7.9-cp36-abi3-macosx_10_7_x86_64.whl
02-09
标题中的“PyPI 官网下载 | polars-0.7.9-cp36-abi3-macosx_10_7_x86_64.whl”指的是Python的包管理器PyPI（Python Package Index）上的一个特定版本的软件包——polars。这个版本是0.7.9，它针对的是Python 3.6版本...
Python库 | py_polars-0.0.24-cp38-cp38-macosx_10_7_x86_64.whl
02-19
`py_polars`是Python中的一个高效数据处理库，它是对 Rust 语言编写的 `polars` 库的Python封装。`py_polars` 主要用于大数据分析和处理，提供了类似 pandas 的 API，但性能上更加强劲，尤其是在并行计算和内存管理...
Python库 | py_polars-0.6.0-cp37-cp37m-macosx_10_7_x86_64.whl
03-23
这时，`py_polars`作为一个高效的替代方案，能够以更低的内存消耗和更快的速度处理大量数据，尤其适合在大数据分析和实时处理场景下使用。 **版本信息** 标题中的"py_polars-0.6.0-cp37-cp37m-macosx_10_7_x86_64....
Python库 | polars-0.9.5_beta.1-cp36-abi3-win_amd64.whl
02-18
在`Polars`中，主要的数据结构是DataFrame，它是一个二维表格型数据结构，可以存储各种类型的数据，包括数值、字符串、日期等。DataFrame提供了丰富的操作方法，如过滤、排序、聚合、合并等。此外，`Polars`还支持...
使用python对股票市场进行数据挖掘的书籍资料有哪些
股票量化交易自动交易程序化交易接口
09-05 1612
Python在股票数据挖掘和分析方面有各类优质资料，从入门到实践，能助力读者高效学习。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 862
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
【提效工具】AI工作流的1-10个实际落地场景
万物皆有灵
09-09 1307
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
从AI到大数据，数字技术服务平台全栈赋能企业升级
最新发布
smjt2024的博客
09-11 518
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
【自然语言处理】第二章现代语言学基础
Ausgelebt的博客
09-07 1281
从语言使用时的外部环境来看句子在交际中实际传递的信息、发挥的功能，就是调用语用系统对句子的语义做出更全面的解释。语用系统的本质是基于经验的逻辑推理。
polars使用教程
04-12
1. 安装polars： 首先，你需要在你的项目中添加polars作为依赖项。可以通过在Cargo.toml文件中添加以下行来实现： ``` [dependencies] polars = "0.16" ``` 2. 导入polars： 在你的Rust代码中，使用`use`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值