ibis：极具潜力的Python数据分析新框架！

1 简介

大家好，今天要给大家介绍的Python框架叫做ibis，没错，跟著名连锁酒店宜必思同名，其作者是创造了pandas、Arrow等著名框架的Wes McKinney。

ibis的核心理念是用同一套数据框操作API，统一操纵各种主流的数据运算框架，使得用户可以更轻松更一致的构建自己的数据分析处理过程，而不是囿于不同框架之间千差万别的用法，下面我们就来一起学习其基础用法😉~

2 ibis基础用法介绍

2.1 ibis的安装

为了方便演示，我们这里使用conda或mamba创建新的虚拟环境，来安装试用ibis，以mamba为例，在终端中执行下列命令，完成演示用虚拟环境的创建及激活，并安装ibis最基础的相关模块+示例数据集模块：

mamba create -n ibis-demo python=3.9 -y  
  
mamba activate ibis-demo  
  
pip install ibis-framework[duckdb,examples]  

验证是否安装成功：

python -c "import ibis;print(ibis.__version__)"  

可以看到，我们完成了对ibis的安装，当前版本为9.0.0：

2.2 ibis主要功能

2.2.1 构建具有便携性的分析逻辑

ibis本身不直接执行分析计算，当我们针对目标数据编写好对应计算逻辑的ibis代码后，实际执行时其底层会将计算逻辑自动转换到当前的计算后端中。目前ibis支持**「超过20种」计算后端，均为当前「单机分析」、「分布式分析」**领域的主流框架：

这使得基于ibis构建的数据分析工作流，可以在不修改代码的情况下，轻松扩展应用于任意的计算后端。

譬如，ibis默认使用DuckDB作为后端进行单机分析运算，你可以在本机上使用部分数据构建并验证业务分析逻辑后，再套用相同的代码，切换计算后端到诸如ClickHouse上执行分布式运算，这一特性也是ibis**「便携性」**的体现。

举个简单的例子，首先我们基于pandas生成具有一千万行记录的示例数据并导出为parquet格式：

import numpy as np  
import pandas as pd  
  
# 生成测试用数据并导出为parquet格式  
(  
    pd  
    .DataFrame(  
        {  
            '类别': np.random.choice(list('abcdef'), 10000000),  
            '数值': np.random.uniform(0, 100, 10000000)  
        }  
    )  
    .assign(数值=lambda df: df['数值'].round(3))  
    .to_parquet('demo.parquet')  
)  

接下来我们先使用默认的DuckDB后端，在ibis中执行一些示例运算，注意其运算耗时：

接着，我们切换计算后端为pandas，执行完全一样的计算代码，可以看到计算耗时陡增，毕竟pandas处理上千万行数据性能要远逊于DuckDB，这个例子体现出ibis强大的代码便携性：

2.2.2 充分搭配Python与SQL

ibis中另一个非常强大的功能，是其可以充分结合Python代码和SQL代码来开展分析工作，譬如，你可以将ibis分析代码直接转换为SQL语句：

也可以直接执行SQL语句开展分析：

这使得ibis可以充分联结各类最先进的计算后端，帮助分析师轻松维护业务分析逻辑。

无论你原先在使用pandas、SQL还是R进行数据分析，ibis官网文档中都提供了非常友好的使用指南，确保你可以无痛的迁移使用ibis：

以上就是本文的全部内容，欢迎在评论区与我们进行讨论~

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

整理出了一套系统的学习路线，这套资料涵盖了诸多学习内容：【点击这里领取！】
Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！
① Python所有方向的学习路线图，清楚各个方向要学什么东西
② 100多节Python课程视频，涵盖必备基础、爬虫和数据分析
③ 100多个Python实战案例，学习不再是只会理论
④ 华为出品独家Python漫画教程，手机也能学习
⑤ 历年互联网企业Python面试真题,复习时非常方便******