Pandas笔记---通过比赛整理出的10条Pandas实用技巧

最新推荐文章于 2023-07-12 13:41:47 发布

Blank_spaces

最新推荐文章于 2023-07-12 13:41:47 发布

阅读量347

点赞数

本文链接：https://blog.csdn.net/Blank_spaces/article/details/106066779

版权

本文总结了在数据分析比赛中的10个Pandas关键操作：1) 使用concat()连接对象；2) merge()合并数据；3) drop_duplicates()删除重复行；4) unique()对Series去重；5) sort_values()排序；6) sample()进行采样；7) groupby()分组；8) isna(), isnull()和dropna()处理缺失值；9) isin()筛选特定值；10) where()替换特定值。这些技巧对于数据预处理至关重要。" 106590872,7670289,Hystrix fallback触发条件详解,"['微服务', '容错处理', 'Hystrix', 'Java', 'Spring Cloud']

摘要由CSDN通过智能技术生成

点击上方“潜心的Python小屋”关注我们，第一时间推送优质文章。

前言

大家好，我是潜心。最近还在参加某比赛，将pandas对数据预处理的方法进行了总结，以下列出的10条是我觉得比较常用、好用的处理操作。

本文约3k字，预计阅读15分钟。

1. 连接Pandas对象---concat()

concat方法是沿着某条轴，将多个DataFrame/Series对象进行连接在一起。

主要用途： 对某些对象只进行简单的行连接或列连接。

def concat(objs, axis=0, join="outer", ignore_index: bool = False, keys=None, levels=None, names=None, verify_integrity: bool = False, copy: bool = True)

主要参数介绍：

objs：多个对象；
axis：指定连接的轴，0(行)或1(列)；
join：连接的方式，outer（外连接）或inter（内连接）；
ingnore_index：是否重建索引；

例：

In[1]: df1 = pd.DataFrame(np.random.randint(10, size=(3, 3)), columns=['A', 'B', 'C'])
  
 A B C
0 1 4 8
1 8 8 4
2 0 9 3

In[2]: df2 = pd.DataFrame(np.random.randint(10, size=(2, 2)), columns=['A', 'B'])

 A B
0 3 9
1 8 6

In[3]: pd.concat([df1, df2], axis=0, join='outer')

 A B C
0 1 4 8.0
1 8 8 4.0
2 0 9 3.0
0 3 9 NaN
1 8 6 NaN

In[4]: pd.concat([df1, df2], axis=0, join='inner', ignore_index=True)

 A B
0 1 4
1 8 8
2 0 9
3 3 9
4 8 6

In[5]: pd.concat([df1, df2], axis=1, join='outer')

 A B C A B
0 1 4 8 3.0 9.0
1 8 8 4 8.0 6.0
2 0 9 3 NaN NaN

2. 合并Pandas对象---merge()

类似于关系数据库的连接方式，根据一个或多个键（即列）将不同的DataFrame连接起来。

主要用途：对于拥有相同的键的两个DataFrame对象，需要将其进行有效的拼接，整合到一个对象。

def merge(left, right, how='inner', on=None, left_on=None, right_on=None,
         left_index=False, right_index=False, sort=True,
         suffixes=('_x', '_y'), copy=True, indicator=False,
         validate=None)

主要参数介绍：