DataFrame取差集、去重、拼接、shuffle

最新推荐文章于 2024-07-08 22:12:38 发布
最新推荐文章于 2024-07-08 22:12:38 发布
阅读量1.1k 收藏 1
点赞数 2
分类专栏： # pandas 文章标签： DataFrame
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/On_theway10/article/details/86655680
版权

演示数据df_nba：

+-------------+-----------+---------+--------+--------+
|     name    |    team   | poision | height | weight |
+-------------+-----------+---------+--------+--------+
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|    Oneil    |   Lakers  |    C    |  216   | 147.0  |
|   McGradyg  |  Rockets  |    SF   |  203   | 101.0  |
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|  Larry_Bird |   Boston  |    PF   |  206   | 100.0  |
|   Iverson   |    76s    |    PG   |  183   |  75.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|   Olajuwon  |  Rockets  |    C    |  208   | 116.0  |
+-------------+-----------+---------+--------+--------+

df_res:

+-------------+-----------+---------+--------+--------+
|     name    |    team   | poision | height | weight |
+-------------+-----------+---------+--------+--------+
|    James    | Cavaliers |    PF   |  206   | 113.0  |
|    Jabbar   | Cavaliers |    PF   |  228   | 120.0  |
| Chamberlain |    76s    |    PF   |  216   | 125.0  |
|   Russell   |   Boston  |    PF   |  206   |  98.0  |
+-------------+-----------+---------+--------+--------+

调整某列数据类型

df['col_name'] = df['col_name'].astype('int')  | 将df的col_name列的数据类型改为int！

两个DataFrame对象取差集

 res = df[~(df['a'].isin(a_to_drop))]

数据去重

 

  • df_nba.drop_duplicates(subset=['name','team'], keep='last', inplace=False)
+------------+---------+---------+--------+--------+
|    name    |   team  | poision | height | weight |
+------------+---------+---------+--------+--------+
|   Oneil    |  Lakers |    C    |  216   | 147.0  |
|  McGradyg  | Rockets |    SF   |  203   | 101.0  |
| Larry_Bird |  Boston |    PF   |  206   | 100.0  |
|  Iverson   |   76s   |    PG   |  183   |  75.0  |
|    kobe    |  Lakers |    SG   |  198   |  96.0  |
|   jordan   |  Bulls  |    SG   |  198   |  98.0  |
|  Olajuwon  | Rockets |    C    |  208   | 116.0  |
+------------+---------+---------+--------+--------+

数据拼接   

  • data = pd.concat([df_nba, df_res], axis = 0)
+-------------+-----------+---------+--------+--------+
|     name    |    team   | poision | height | weight |
+-------------+-----------+---------+--------+--------+
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|    Oneil    |   Lakers  |    C    |  216   | 147.0  |
|   McGradyg  |  Rockets  |    SF   |  203   | 101.0  |
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|  Larry_Bird |   Boston  |    PF   |  206   | 100.0  |
|   Iverson   |    76s    |    PG   |  183   |  75.0  |
|     kobe    |   Lakers  |    SG   |  198   |  96.0  |
|    jordan   |   Bulls   |    SG   |  198   |  98.0  |
|   Olajuwon  |  Rockets  |    C    |  208   | 116.0  |
|    James    | Cavaliers |    PF   |  206   | 113.0  |
|    Jabbar   | Cavaliers |    PF   |  228   | 120.0  |
| Chamberlain |    76s    |    PF   |  216   | 125.0  |
|   Russell   |   Boston  |    PF   |  206   |  98.0  |
+-------------+-----------+---------+--------+--------+

打乱数据

  • data = df_nba.sample(frac=1)
+------------+---------+---------+--------+--------+
|    name    |   team  | poision | height | weight |
+------------+---------+---------+--------+--------+
|   jordan   |  Bulls  |    SG   |  198   |  98.0  |
|   jordan   |  Bulls  |    SG   |  198   |  98.0  |
|    kobe    |  Lakers |    SG   |  198   |  96.0  |
|  McGradyg  | Rockets |    SF   |  203   | 101.0  |
|   jordan   |  Bulls  |    SG   |  198   |  98.0  |
|    kobe    |  Lakers |    SG   |  198   |  96.0  |
| Larry_Bird |  Boston |    PF   |  206   | 100.0  |
|  Iverson   |   76s   |    PG   |  183   |  75.0  |
|  Olajuwon  | Rockets |    C    |  208   | 116.0  |
|    kobe    |  Lakers |    SG   |  198   |  96.0  |
|   Oneil    |  Lakers |    C    |  216   | 147.0  |
+------------+---------+---------+--------+--------+

 

ReLuJie
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python Pandas 如何shuffle（打乱）数据
12-26
在Python里面，使用Pandas里面的DataFrame来存放数据的时候想要把数据集进行shuffle会许多的方法，本文介绍两种比较常用而且简单的方法。 应用情景： 我们有下面以个DataFrame 我们可以看到BuyInter的数值是按照0,-1,-1,2,2,2,3,3,3,3这样排列的，我们希望不保持这个次序，但是同时列属性又不能改变，即如下效果： 实现方法： 最简单的方法就是采用pandas中自带的 sample这个方法。 假设df是这个DataFrame df.sample(frac=1) 这样对可以对df进行shuffle。其中参数frac是要返回的比例，比如df中有
对DataFrame中的数据进行shuffle
写代码的高酱
03-10 7211
方法一 使用sklearn的方法shuffle() shuffle过程为： from sklearn.utils import shuffle df = shuffle(df) 方法二 使用pandas的随机抽样方法df.sample() shuffle过程为： df = df.sample(frac=1.0) 此时不仅会将数据按行打乱，同时数据的行索引也会被打乱。若想要打乱后的数据索引重新从...
Python使用总结之DataFrame数据去重
最新发布
载_酒i
07-08 513
默认情况下,保留第一次出现的重复项。如果想保留最后一次出现的重复项,可以使用在某些情况下,我们可能需要更复杂的去重逻辑。
【Python】 Python中的DataFrame行随机打乱：Shuffle技术详解
PythonWeb实践
06-11 579
在数据分析和机器学习中，经常需要对数据进行随机打乱，以确保数据的随机性，从而避免数据顺序对分析结果的影响。> 【痕迹】QQ+微信朋友圈和聊天记录分析工具1.0.4 （1）纯Python语言实现，使用Flask后端，本地分析，不上传个人数据。的行是一种常见的数据预处理技术，它有助于提高模型的泛化能力，尤其是在机器学习领域。> （2）内含QQ、微信聊天记录保存到本地的方法，真正实现自己数据自己管理。方法的参数，我们可以灵活地控制打乱的程度和方式，以满足不同的数据分析需求。中的行可以被随机打乱，这通常通过。
pandas DataFrame 打乱数据 shuffle
qq_31448607的博客
05-21 662
【代码】pandas DataFrame 打乱数据 shuffle。
Pandas中两个dataframe的交集和差集
ljp1919的专栏
07-06 6万+
创建测试数据： import pandas as pd import numpy as np #Create a DataFrame df1 = { 'Subject':['semester1','semester2','semester3','semester4','semester1', 'semester2','semester3'], 'Score':[62,47,55,74,31,77,85]} df2 = { 'Subject':['s
python DataFrame 取差集实例
12-26
需求：给定一个dataframe和一个list，list中存放的是dataframe中某一列的元素，删除dataframe中与list元素重复的行（即取差集）。 在网上搜了一圈，好像没看到DataFrame中取差集的方式，所以自己写了一个。方法比较...
Python Dataframe 指定多列去重、求差集的方法
09-20
在本文中，我们将详细探讨如何在 DataFrame 中指定多列进行去重以及如何求两个 DataFrame 的差集。 1. **指定多列去重** 当 DataFrame 中没有唯一的标识符（主键，Primary Key）时，我们需要基于多个列的组合来...
python pandas dataframe 去重函数的具体使用
09-16
总的来说，`pandas.DataFrame.drop_duplicates`是处理DataFrame重复行的高效工具，通过灵活运用`subset`、`keep`和`inplace`参数，可以满足不同场景下的去重需求。理解并熟练掌握这些用法，将极大地提升我们在数据...
python pandas DataFrame: Shuffle 打乱顺序/洗牌
夏日麦香的博客
04-18 393
转载：pandas: Shuffle rows/elements of DataFrame/Seriesnkmk note 这个作者写了很多关于python使用的文章，写得很好，推荐收藏You can randomly shuffle rows of and elements of with the method. There are other ways to shuffle, but using the method is convenient because it does not requi
【数据挖掘】Python数据分析和挖掘实战--随机打乱DataFrame中的数据（含代码和效果）
学无止境、积少成多、厚积薄发
05-22 1150
Python数据分析和挖掘实战--随机打乱DataFrame中的数据（含代码和效果）
pandas数据洗牌shuffle操作
studyvcmfc的专栏
05-02 1431
https://blog.csdn.net/qq_22238533/article/details/70917102?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromBaidu-1&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-Bl...
Python-Pandas 如何shuffle（打乱）数据？
热门推荐
SCUT_Sam
04-28 14万+
在Python里面，使用Pandas里面的DataFrame来存放数据的时候想要把数据集进行shuffle会许多的方法，本文介绍两种比较常用而且简单的方法。 应用情景： 我们有下面以个DataFrame 我们可以看到Type的数值是按照1,1,1,...2,2,2...,3,3,3..这样排列的，我们希望不保持这个次序，但是同时列属性又不能改变，即如下效果：
Pandas求两个dataframe差集 详解
guoyc439的博客
04-14 1万+
1、交集 intersected=pd.merge(df1,df2,how='inner') 延伸（针对列求交集）intersected=pd.merge(df1,df2,on['name'],how='inner') 2、差集（df1-df2为例） diff=pd.concat([df1,df2,df2]).drop_duplicates(keep=False) 差集函数的详解： 1、Pandas 通过 concat() 函数能够轻松地将 Series 与 DataFrame 对象组合在一
Pandas常用的Dataframe操作指令
甜度超标的博客
05-10 1458
项目场景： 新手记录，每次来复制就好了，免得每次都要去搜。 重要语法 1.csv读取： data= pd.read_csv(pathname, header=0, encoding="gbk") 2.转成datafram格式 df = DataFrame(data) 3.删除列 ###按照列名删除列 df= data.drop(['ts', 'value'], axis=1) ###按照索引删除列,删除第0列 df = df.drop(df.columns[[0]], axis=1) 4.插入列 #
Pandas中两个DataFrame求差集
Mogul的博客
03-21 749
【代码】Pandas中两个DataFrame求差集。
pandas求两个DataFrame之间的行的差集
代妈炼金术师
01-09 827
在Pandas中，如果你想要找到两个DataFrame之间的行的差集（即出现在一个DataFrame但不在另一个DataFrame中的行），可以使用。另外，如果只是想获取两个DataFrame中不同行（依据所有列值都不相同的情况），则需要先将它们转换为Series并使用。注意：这种方法的前提是两个DataFrame具有相同的列名和数据类型，并且希望基于这些列的完整匹配来查找差集。参数，再结合条件筛选来实现。
【Python】DataFrame差集/交集/并集求解
fengdu78的博客
07-16 5647
公众号：尤而小屋作者：Peter编辑：Peter本文讲解的是如何利用Pandas函数求解两个DataFrame的差集、交集、并集。模拟数据 模拟一份简单的数据：In [1]:importpandasaspdIn [2]:df1=pd.DataFrame({"col1":[1,2,3,4,5], "col2":[6,7,8,...
python pd.DataFrame 两个 取某个字段的差集
nbspzs的专栏
05-29 609
在 Pandas 中，如果你有两个 DataFrame 并且想要取某个字段的差集，可以使用 `set` 操作来实现。这可以帮助你找到在一个 DataFrame 中存在但在另一个 DataFrame 中不存在的值。这个示例展示了如何找到在 `df1` 中存在但在 `df2` 中不存在的 `id` 值。我们希望找到在 `df1` 中存在但在 `df2` 中不存在的 `id` 值。#### 方法一：使用 `set` 操作。使用 Pandas 的布尔索引取差集。使用 Pandas 的布尔索引取差集。
python dataframe 取差集
09-24
可以使用pandas库中的drop_duplicates()方法来实现Python DataFrame的取差集。下面是一个示例代码： ```python import pandas as pd # 创建两个DataFrame data_a = {'state': [1, 1, 2], 'pop': ['a', 'b', 'c']} ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ReLuJie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值