pandas常用的数据处理方法

最新推荐文章于 2024-06-18 09:06:49 发布

Heidi1992

最新推荐文章于 2024-06-18 09:06:49 发布

阅读量389

点赞数

分类专栏： python 文章标签： python pandas 数据处理

本文链接：https://blog.csdn.net/skye1208/article/details/88762180

版权

本文介绍了pandas在数据处理中的常见操作，包括数据去重、重置索引、删除特定条件行、填充缺失值、筛选数据、统计频次、数值保留小数位以及增删列等核心功能。

摘要由CSDN通过智能技术生成

pandas常用操作方法

数据去重及重置索引

 data1 = data.drop_duplicates(keep='first', inplace=False) 
 data2 = data1.reset_index(drop=True)

去掉time列里面数据是0的所在行记录

 data1 = data[~data['time'].isin([0])]

用0或其他数值填充缺失值，以0为例

 data = data.fillna(0)

按列筛选数据，在data表中筛选时间列 t1<time<t2的所有行数据

 subData_1 = data.loc[data['time'] > t1]
 subData_2 = subData_1.loc[subData_1['time'] < t2]

统计data表中第二列每个元素出现的个数

 data1= data.iloc[:, 1]
 count = dict(data1.value_counts())
 count_1= pd.DataFrame(list(count.items()), columns = ['value', 'number'])

value值在小数点后保留3位

 percent = '%.3f' % (val

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Heidi1992

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

pandas 空数据处理方法详解

09-18

在数据分析过程中，处理空数据是必不可少的一环，因为空数据可能会导致分析结果的偏差或错误。Pandas，作为Python中最常用的库之一，提供了多种...希望本文的内容能够帮助你在处理Pandas数据集时更好地应对空值问题。

使用Python Pandas处理亿级数据的方法

09-19

4. 分布式计算：如果内存和计算资源允许，可以使用Apache Spark与PySpark结合，提升大规模数据处理能力。最后，对于存储在硬盘上的大型数据集，可以考虑使用更高效的数据存储格式，如Parquet或HDF5，它们支持压缩...

参与评论您还未登录，请先登录后发表或查看评论

数据分析 — Pandas 数据处理

记录学习过程，欢迎讨论交流~

02-14

2433

Pandas（Python Data Analysis Library）是一个基于 NumPy 的数据分析工具，专为解决数据分析任务而创建。它汇集了大量库和一些标准的数据模型，可以更高效地操作大型数据集。

学习笔记三、pandas包中常用方法整理

keith0812的专栏

12-13

1812

本文由pandas官网提供的十分钟熟悉pandas包的介绍文档整理而成。整理思路：通过pandas包与现有分析工具在使用上的区别，让分析人员能从系统上了解pandas包的功能，以便后期快速上手。相关资料： 1、10 minutes to pandas原文网址：http://pandas.pydata.org/pandas-docs/stable/10min.html 2、

Pandas常用方法

Twilight's Blog

11-03

888

数据处理很多需要用到pandas，有两个基本类型：Series表示一维数据，DataFrame表示多维。以下是一些常用方法的整理： pandas.Series 创建 Series pandas.Series( data, index, dtype, copy) name value data 数据采取各种形式，如：ndarray，list，dict, constants(常量)...

pandas的常用方法整理

shanzhonglujie的博客

08-02

4613

pandas是建立在Numpy基础上的高效数据分析处理库，是Python的重要数据分析库。pandas提供了众多的高级函数，极大地简化了数据处理的流程，尤其是被广泛地应用于金融领域的数据分析。 pandas主要特点包括：带有标签的数据结构，Pandas库围绕Series类型和DataFrame类型这两种数据结构。允许简单索引和多级索引。整合了对数据集的集合和转换功能。 ...

pandas常用方法总结

siyuchen的博客

02-11

701

首先安装pandas模块from matplotlib import pyplot as plt import numpy as np import pandas as pd from numpy import nan as NA from pandas import DataFrame, Series %matplotlib inline一、pandas导入# DataFrame # 本质上就...

Pandas数据处理（一）

12-23

Pandas数据处理（一） import pandas as pd import numpy as np #利用numpy生成一组DataFrome数据 df=pd.DataFrame(np.arange(16).reshape(4,4)) print(df) –out 0 1 2 3 0 0 1 2 3 1 4 5 6 7 2 8 9 10 11 3 12 13 ...

《Python数据分析与应用》教学课件04pandas数据处理.pdf

06-22

《Python数据分析与应用》教学课件04pandas数据处理.pdf《Python数据分析与应用》教学课件04pandas数据处理.pdf《Python数据分析与应用》教学课件04pandas数据处理.pdf《Python数据分析与应用》教学课件04pandas数据...

pandas 数据处理的一些方法

Chelseady的博客

09-07

1011

1.合并两个表的操作： pandas.merge()可根据一个或者多个键将不同的DataFrame连接在一起，类似于SQL数据库中的合并操作；例如： import numpy as np import pandas as pd df1 = pd.DataFrame({'data1': np.arange(7), 'name': list('bbbaacd')}) df1 dat...

pandas删除含有特定数值的行或列

06-20

使用pandas处理数据时，如何实现删除/选取某列含有特殊数值的行或者某行含有特殊数值的列，以及如何去除含有空值的行或列

Pandas 28种常用方法使用总结

z_ipython的博客

05-31

6147

Pandas中，我们可以使用apply()方法将一个函数作用于数据框中所有的行或者列上，实现对数据的自定义处理。def process_data(row) : # 处理数据的逻辑 return processed_row # 对每一行进行 df . apply(process_data , axis = 1)在apply()方法中，axis参数可以设置为0表示对每一列进行处理，设置为1表示对每一行进行处理。同时，我们还可以用map()方法和applymap()

Pandas常用操作汇总（整理自用）

qq_42183184的博客

07-10

3350

1. List转DataFrame # result是二维列表[[a,1],[b,2],[c,3]] data = pd.DataFrame(result) data.columns = ['col1', 'col2'] data 2. 计算相关系数 corr = round(data['time'].corr(data['money']), 4) 3. index重新 projects = projects.reset_index(drop=True) 4. 两个DataFrame根据

2万字！Pandas 常用操作图解（非常详细）零基础入门到精通，收藏这一篇就够了

最新发布

aobulaien001的博客

06-18

1359

Pandas 展示请看下表:它描述了一个在线商店的不同产品线，共有四种不同的产品。与前面的例子不同，它可以用NumPy数组或Pandas DataFrame表示。但让我们看一下它的一些常见操作。

python数据分析知识点_Python数据分析--Pandas知识点(三)

weixin_39797686的博客

11-23

337

本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘.下面将是在知识点一, 二的基础上继续总结.前面所介绍的都是以表格的形式中展现数据, 下面将介绍Pandas与Matplotlib配合绘制出折线图, 散点图, 饼图, 柱形图, 直方图等五大基本图形.Matplotlib是python中的一个2D图形库, 它能以各种硬拷贝的格式和跨平台的交互式环境生成高质量的图形, 比如说...

Python数据科学手册（3）--- Pandas数据处理

Anakin6174的博客

01-03

307

Pandas是数据科学家极喜欢的一个库，因为它集成了很多方便的功能，处理数据高效方便，当然1000多页的文档也令人生畏；一般情况下是掌握基本的操作方法后，之后在工作中需要什么功能再去查找；本文也不再描述其基本用法，只记录自己工作中的一些积累；有一个非常好的文档介绍入门知识，基本能应对80%以上的数据处理任务：十分钟搞定Pandas: http://python.jobbole.com/84416...

第九章：Pandas模块的介绍-冗余值、异常值和缺失值的处理（二）

weixin_43597208的博客

05-17

327

直接学习：https://edu.csdn.net/course/play/6861/371100 冗余值、异常值和缺失值的处理（二） 1、异常值的识别及处理 #z得分法 #分位数法 #距离法 2、缺失值的识别及处理 df.isnull df.fillna df.dropna 3、示例代码如下： data05 = pd.read_excel(r'D:\Teach Plan\CSDN\PPT\第7章 pandas模块的介绍\data_test05.xlsx') data05.head() #识别缺失值 da

第九章：Pandas模块的介绍-冗余值、异常值和缺失值的处理（一）

weixin_43597208的博客

05-16

416

直接学习：https://edu.csdn.net/course/play/6861/326774 冗余值、异常值和缺失值的处理 1、数据类型的修改 pd.to_datetime() df.column.astype() import pandas as pd sec_car = pd.read_csv(r'D:\Teach Plan\CSDN\PPT\第7章 pandas模块的介绍\sec_cars.csv') sec_car.head() #查看列的数据类型 sec_car.dtypes #数据类型的修

pandas数据预处理

qq_44093630的博客

01-06

320

data.head 读取数据前五行，当数据太大时，对查看数据是否正确。 data.query 记录满足查找条件的行索引 data.query("x<2.5 & x>2 & y<1.5 & y>1.0") 时间处理 time = pd.to_datetime(data["time"], unit="s") #转成时间 pd.DatetimeIndex(time) data.groupby(“特征”).count() 对某一特征进行统计 ...

pandas数据清洗常用方法

05-10

pandas是一个非常强大的数据处理库，提供了许多用于数据清洗的方法。以下是一些常用的pandas数据清洗方法： 1. 缺失值处理：使用`dropna()`方法或`fillna()`方法处理缺失值。 2. 重复值处理：使用`duplicated()`方法或`drop_duplicates()`方法处理重复值。 3. 数据类型转换：使用`astype()`方法将一列数据转换为指定的数据类型。 4. 字符串处理：使用`str`属性中的方法处理字符串数据，例如`strip()`、`replace()`、`split()`等。 5. 列名重命名：使用`rename()`方法将列名重命名。 6. 数据合并：使用`merge()`方法将两个数据集合并成一个。 7. 数据透视表：使用`pivot_table()`方法生成透视表。 8. 数据分组：使用`groupby()`方法将数据按照指定的列分组。 9. 数据排序：使用`sort_values()`方法将数据按照指定的列排序。以上是一些常用的pandas数据清洗方法，当然还有许多其他方法可以用于数据清洗。