Pandas非常规但实用的骚操作1

于 2023-10-01 09:30:00 发布
阅读量129 收藏 2
点赞数
文章标签： pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a7303349/article/details/133418394
版权

目录

一、骚操作

1、利用 explode 爆炸展开操作

2、使用 squeeze 压缩 Series

3、使用 between 筛选数值范围

4、使用 assign 添加新列

5、使用 map 进行字典映射

6、使用 apply 进行自定义函数应用

7、使用apply和lambda函数进行自定义操作

8、使用 groupby 和 transform 进行组内转换

9、使用 pipe 进行流式操作

10、使用 factorize 进行标签编码

11、链式操作

12、使用query方法进行筛选

二、划重点

一、骚操作

1、利用 explode 爆炸展开操作

        Pandas 提供了 explode 方法，可以将包含可迭代对象的列（如列表）拆分成多行。

import pandas as pd  
import numpy as np  
  
# 创建一个 DataFrame，包含列表类型的列  
df = pd.DataFrame({'A': [[1, 2], [3], [4, 5, 6]]})  
print(df)  
  
# 使用 explode 进行爆炸操作，将列表拆分成多行  
result = df.explode('A')  
print(result)

2、使用 squeeze 压缩 Series

        在 Pandas 中，使用 .loc 筛选数据返回的结果可能是 Series 类型，而不是 DataFrame 类型。可以使用 squeeze 方法将 Series 压缩为单个值。

import pandas as pd  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})  
print(df)  
  
# 使用 .loc 筛选数据，返回结果为 Series 类型  
result = df.loc[df['A'] == 1, 'B']  
print(result)  # 输出 Series([4], name='B', dtype='int64')  
  
# 使用 squeeze 方法压缩 Series，返回单个值  
value = result.squeeze()  
print(value)  # 输出 4

3、使用 between 筛选数值范围

        在 Pandas 中，可以使用 between 方法来筛选数值范围，非常简洁。

import pandas as pd  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': [1, 2, 3, 4, 5]})  
print(df)  
  
# 使用 between 方法筛选数值范围  
result = df[df['A'].between(2, 4)]  
print(result)  # 输出 DataFrame({'A': [2, 3, 4]})

4、使用 assign 添加新列

        在 Pandas 中，可以使用 assign 方法方便地添加新列，而无需使用 loc 或 iloc 方法。

import pandas as pd  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})  
print(df)  
  
# 使用 assign 添加新列  
result = df.assign(C=df['A'] + df['B'])  
print(result)  # 输出 DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 'C': [5, 7, 9]})

5、使用 map 进行字典映射

        在 Pandas 中，可以使用 map 方法将 Series 中的每个元素映射到字典中的对应值。

import pandas as pd  
  
# 创建一个 Series  
s = pd.Series(['foo', 'bar', 'baz'])  
print(s)  
  
# 创建一个字典  
mapping = {'foo': 1, 'bar': 2, 'baz': 3}  
  
# 使用 map 进行字典映射  
result = s.map(mapping)  
print(result)  # 输出 Series([1, 2, 3])

6、使用 apply 进行自定义函数应用

        在 Pandas 中，可以使用 apply 方法将自定义函数应用到 Series 或 DataFrame 的每个元素上

import pandas as pd  
import numpy as np  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})  
print(df)  
  
# 定义一个自定义函数，计算平方值并返回新列名  
def square_and_rename(x):  
    return x ** 2, 'squared'  
  
# 使用 apply 进行自定义函数应用，将函数应用到 A 列上，并将结果存储在新列中  
result = df['A'].apply(square_and_rename)  
df = pd.concat([df, result], axis=1)  
print(df)  # 输出 DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6], 0: [1, 4, 9], 'squared': [1, 4, 9]})

7、使用apply和lambda函数进行自定义操作

import pandas as pd

# 创建一个DataFrame
data = {'A': [1, 2, 3, 4, 5],
        'B': [10, 20, 30, 40, 50]}
df = pd.DataFrame(data)

# 使用apply和lambda函数对A列和B列进行自定义操作，例如将A列的值乘以B列的值
df['C'] = df.apply(lambda row: row['A'] * row['B'], axis=1)
print(df)

8、使用 groupby 和 transform 进行组内转换

在 Pandas 中，可以使用 groupby 方法将数据分组，并使用 transform 方法对每个组的元素进行转换，并返回与原始数据相同大小的结果。

import pandas as pd  
import numpy as np  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar'], 'B': [1, 2, 3, 4]})  
print(df)  
  
# 使用 groupby 和 transform 进行组内转换，计算每个组的 B 列的平均值，并将结果存储在新列中  
result = df.groupby('A')['B'].transform('mean')  
df['B_mean'] = result  
print(df)  # 输出 DataFrame({'A': ['foo', 'bar', 'foo', 'bar'], 'B': [1, 2, 3, 4], 'B_mean': [2.0, 3.0, 2.0, 3.0]})

9、使用 pipe 进行流式操作

        Pandas 中的 pipe 方法可以将多个操作连接在一起，实现流式操作，使代码更加简洁和易于阅读。

import pandas as pd  
import numpy as np  
  
# 创建一个 DataFrame  
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})  
print(df)  
  
# 定义三个自定义函数，分别用于去重、去异常值和编码转换  
def drop_duplicates(df):  
    return df.drop_duplicates()  
  
def remove_outliers(df, columns):  
    return df[(np.abs(df[columns] - df[columns].mean()) <= 3 * df[columns].std()).all(axis=1)]  
  
def encode_categoricals(df, columns):  
    return pd.get_dummies(df, columns=columns)  
  
# 使用 pipe 进行流式操作，将三个自定义函数连接在一起  
result = (df.pipe(drop_duplicates)  
          .pipe(remove_outliers, ['A', 'B'])  
          .pipe(encode_categoricals, ['A']))  
print(result)

10、使用 factorize 进行标签编码

        Pandas 中的 factorize 方法可以将分类变量转换为数值型变量，实现类别型变量的标签编码。

import pandas as pd  
  
# 创建一个 Series  
s = pd.Series(['foo', 'bar', 'baz', 'foo', 'bar'])  
print(s)  
  
# 使用 factorize 进行标签编码  
labels, uniques = s.factorize()  
print(labels)  # 输出 Series([0, 1, 2, 0, 1])  
print(uniques)  # 输出 Index(['foo', 'bar', 'baz'], dtype='object')

11、链式操作

import pandas as pd

# 创建一个DataFrame
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

# 链式操作
result = (df.mul(2) + df.add(1)).dropna()
print(result)

12、使用query方法进行筛选

import pandas as pd

# 创建一个DataFrame
data = {'A': [1, 2, 3, 4, 5], 'B': [10, 20, 30, 40, 50]}
df = pd.DataFrame(data)

# 使用query方法筛选出A列大于2的行
result = df.query('A > 2')
print(result)

二、划重点

        关注威信公众号 Python风控模型与数据分析，还有更多理论、代码分享等你来拿

Python风控模型与数据分析
关注
pandas操作excel
qinshi501的博客
01-20 1612
df.to_excel('新的文件路径.xlsx', index=False)result = df[df['你要查找的列名'] == '你要查找的值']df = pd.read_excel('你的文件路径.xlsx')df = pd.read_excel('你的文件路径.xlsx')df = df.drop('你要删除的列名', axis=1)# 删除指定列的数据，例如删除列名为'你要删除的列名'的列。# 查找元素，例如查找所有值为'你要查找的值'的行。# 保存合并后的数据到新的Excel文件。
[Python从零到壹] 十七.可视化分析之Matplotlib、Pandas、Echarts入门万字详解
杨秀璋的专栏
08-24 3万+
前一篇文章讲述了数据预处理、Jieba分词和文本聚类知识，这篇文章主要介绍Matplotlib和Pandas扩展包绘图的基础用法，同时引入Echarts技术，该技术主要应用于网站可视化展示中。本文内容以实例为主，给读者最直观的图形感受。两万字基础文章，希望对您有所帮助。
pandas管道函数pipe
qiuqiuit的专栏
09-25 3118
1.概述 在操作Series或者DataFrame级别数据时，例如修改、删除等，需要用到一些特别的函数，常用的有下面几个： 1.apply()：以DataFrame的行或列为单位(由axis参数决定)，操作数据。 2.applymap()：操作DataFrame中的每个元素。 3.map()：操作Series，或者DataFrame中某一列的元素。 4.pipe()：操作整个DataFrame或者 Series中的所有元素。 2.pipe介绍 相对来说，前面三个函数理解起来，相对较为容易。最不
详解Pandas表级操作的管道函数pipe
最新发布
金戈鐡馬
03-22 513
正确的传参语法为元组(callable, data_keyword)的形式，callable指定在pipe()中调用的函数，data_keyword指定将DataFrame传给函数的哪一个参数(用字符串指定)，函数func的其他参数传递方式不变，传给*args和**kwargs。使用pipe()进行链式调用，将每个函数依次传入到pipe()中，执行完一个函数，再将结果传递给链式调用的下一个函数，pipe()就像一根管道一样。在数据分析时，对数据做多次处理是非常正常的，这正是pipe()的最大用途。
Pandas知识点-详解表级操作管道函数pipe
weixin_43790276的博客
11-04 2658
pandas系列。
Python数据框结合lambda函数的使用
luolang_103的博客
03-21 1952
(1) 创建数据框df 以及其结果 代码： import pandas as pd # 创建数据框 df = pd.DataFrame(value,index=['one','two','three'],columns=['a','b','c']) # 实现数据框中两列之间对应数据相减，并将结果作为新的一列 df['sub'] = df.apply(lambda x: x['a'] ...
DataFrame 行遍历操作 df.apply() lambda
m0_58312395的博客
09-15 8619
#step1 读入电子表格 df=pd.read_excel(path,dtype='str') #step2 defmymatch(df,arg1): df['类型']=arg1+1 df['批次']==arg1+2 returndf df=df.apply(lambdax:self.mymatch(x,arg1),axis=1) ...
Pandas常用操作（一）
tiaochewang219的博客
07-20 311
目录安装pandas创建Seriespandas读取数据创建DataFrameDataFrame切片操作Bool索引和NaN的处理方法Pandas常用统计方法案例1：电影时长分布的统计案例2：电影每种分类的部数统计 安装pandas pip install pandas 创建Series Series是pandas中的一种数据类型，类似于字典，是一种一维的、含索引的数据类型，当然index索引也可以自定义。 import pandas as pd import random import strin
pandas 常用操作
jekxi的博客
10-26 1113
删除操作 删除列： df=df.drop('column_label',axis=1) 删除行： df=df.drop('row_label') 删除重复的行: df=df.drop_duplicates(['column_label_one','column_label_two']) 查看 查看行数 len(df) or len(df.index) or df.shape[0] 列数
pandas数据骚操作总结
02-17
标题中提到的“pandas数据骚操作总结”所涉及的知识点包括对pandas库中数据处理各种高级技巧的总结。pandas是Python中一个强大的数据处理库，它提供了许多高效的数据处理方法，对于数据分析和特征工程具有重要意义。...
Pandas执行SQL操作
ccc369639963的博客
05-11 1351
Pandas执行SQL操作 我们知道，使用 SQL 语句能够完成对 table 的增删改查操作，Pandas 同样也可以实现 SQL 语句的基本功能。本节主要讲解 Pandas 如何执行 SQL 操作。 首先加载一个某连锁咖啡厅地址分布的数据集，通过该数据集对本节内容进行讲解。 import pandas as pd url = 'C:/Users/Administrator/Desktop/coffee/kafei.xlsx' coffee_df=pd.read_excel(url) coffee_df.
Pandas文件读写操作
前景
07-20 2554
Pandas文件读写操作
Intel openvino（二）demo
程序猿的视界
10-02 1083
openvino demo
pandas 学习汇总13 - 函数应用- 将自定义或其他库函数应用于Pandas对象( tcy)
tcy-阿春
12-05 580
Pandas函数应用- 将自定义或其他库函数应用于Pandas对象（pipe,apply,applymap,map,agg） 2018/12/5   1.函数：    # 表函数应用： df.pipe(func, *args, **kwargs) #数据为Series，DataFrames或GroupBy对象 s.pipe( func, *args, **kwargs) # 行或列函数应...
python_链式编程技术_管道技术
wj1298250240的博客
12-09 593
python_链式编程技术_管道技术 Techniques for Method Chaining # 12.3 链式编程技术 # 当对数据集进⾏⼀系列变换时，你可能发现创建的多个临时变量 # 其实并没有在分析中⽤到。看下⾯的例⼦： df = load_data() df2 = df[df['col2'] < 0] df2['col1_demeaned'] = df2['col1'] - d...
Linux pipe函数
热门推荐
MyArrow的专栏
06-06 8万+
1. 函数说明 pipe（建立管道）： 1) 头文件 #include 2) 定义函数： int pipe(int filedes[2]); 3) 函数说明： pipe()会建立管道，并将文件描述词由参数filedes数组返回。               filedes[0]为管道里的读取端               filedes[1]则为管道的写入端。 4) 返回值：  若成
pytorch中对维度及其squeeze()、unsqueeze()函数的理解
qq_40723205的博客
09-19 761
一、理解tensor的维度 TensorFlow对张量的阶、维度、形状有着明确的定义，而在pytorh中对其的定义却模糊不清，仅仅有一个torch.size()的函数来查看张量的大小（我理解的这个大小指的就是TensorFlow对张量的形状描述，也和numpy的.shape类似）。所以，首先要搞清楚如何看一个张量的形状。 import torch z = torch.ones(2,3,4)p...
PyTorch中为什么需要使用squeeze()和unsqueeze()操作？
h1239757443的博客
08-03 443
https://blog.csdn.net/songyuc/article/details/103295416?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159646017219725222416099%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=159646017219725222416099&b
Python Pandas基础教程：数据表操作与处理
总结，这个资源是pandas基础操作的简单教程，涵盖了生成数据表、读取文件以及查看数据表信息等核心操作，对于初学者来说是非常实用的起点。在实际应用中，pandas的功能远不止这些，还包括数据清洗、合并、分组、排序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值