【pandas】DataFrame 数据处理方法汇总

已于 2022-02-15 14:25:07 修改
阅读量1.5k 收藏 7
点赞数
分类专栏： 数学建模 机器学习 文章标签： python 机器学习 数据挖掘
于 2022-02-15 14:22:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45919985/article/details/122943364
版权

读取csv文件：

data2 = pd.read_csv('data2(1).csv',encoding='gbk')

读取Excel文件：

dm = pd.read_excel(path+ "2021MCM_ProblemC_ Images_by_GlobalID.xlsx");

数据连接：

在这里插入图片描述
在这里插入图片描述

data = pd.merge(ds,dm);

在这里插入图片描述

数据筛选：

从’Lab Status’列中选取值为’Negative ID’的行；

dN = data[data['Lab Status'].isin(['Negative ID'])];

在这里插入图片描述

数据行堆叠：

dfr = pd.concat([dNt, dPt], axis=0, ignore_index=True);

数值替换：

在这里插入图片描述

dfr = dfr.replace({'Lab Status': {'Negative ID': 0, 'Positive ID': 1}});

在这里插入图片描述

随机打乱顺序：

dfr = dfr.reindex(np.random.permutation(dfr.index));

在这里插入图片描述

抽选出部分列：

dfr = dfr.loc[:,['Notes','Lab Status']];

在这里插入图片描述

更改数据类型：

dfr['Notes'] = dfr['Notes'].astype('string');

查看数据信息：

dfr.info()

在这里插入图片描述

Spikeeee-
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PandasDataFrame-1.0.2.tar.gz
03-09
《Pandas DataFrame 1.0.2：数据处理与分析的高效工具》 Pandas DataFrame是Python编程语言中用于数据分析的强大的开源库，版本1.0.2代表着该库的一个稳定版本，它提供了丰富的功能和优化，使得数据清洗、转换、...
Pandas入门 _DataFrame数据处理的一些技巧
m0_52392182的博客
10-08 2332
处理DataFrame一些基础操作
【pandas】模块——DataFrame数据处理（一）
panbaoran913的博客
11-23 3646
DataFrame-数据创建与导入 DataFrame的基础用法和了解 姓名 类型 成绩 0 张三 高中 89 1 李四 初中 90 2特征 第一行为字段,即列名,从第二行开始为一行一行的记录 每列可以是不同的值类型(数值/字符串/布尔值等) 即有行索引也有列索引 3获得DataFrame的两种方式 3.1 自己创建DateFrame 3.1.1 通过字典的方式创建DataFrame 通过单层字典创建 通过嵌套字典创建 注意 a
DataFrame数据的处理多种方法
最新发布
weixin_40718055的博客
06-04 600
在Python中，DataFrame是pandas库中的一个核心数据结构，用于存储和操作二维的、大小可变且可以包含异质类型列的表格型数据。处理DataFrame数据时，你可以执行各种操作，包括数据清洗、转换、聚合、排序、筛选等。以下是一些常见的DataFrame。
pandas 学习 第10篇：DataFrame 数据处理（应用、追加、截断、连接、合并、重复值、重索引、重命名、重置索引、设置轴索引、选择和过滤）...
albh81462的博客
09-26 1428
DataFrame的这些操作和Series很相似，这里简单介绍一下。 一，应用 apply()函数应用于轴级别，applymap应用于元素级别： DataFrame.apply(self, func, axis=0, raw=False, result_type=None, args=(), **kwds) DataFrame.applymap(self, func) ...
Pandas使用自定义函数
ccc369639963的博客
04-18 1181
Pandas使用自定义函数 如果想要应用自定义的函数，或者把其他库中的函数应用到 Pandas 对象中，有以下三种方法： 1) 操作整个 DataFrame 的函数：pipe() 2) 操作行或者列的函数：apply() 3) 操作单一元素的函数：applymap() 如何从上述函数中选择适合的函数，这取决于函数的操作对象。下面介绍了三种方法的使用。 操作整个数据表 通过给 pipe() 函数传递一个自定义函数和适当数量的参数值，从而操作 DataFrme 中的所有元素。下面示例，实现了数据表中的元素值依次
python导入pandas具体步骤方法
01-20
在Python中，Pandas与其他库（如NumPy和Matplotlib）的集成非常紧密，使得数据处理和可视化变得更加流畅。例如，结合NumPy进行数值计算，配合Matplotlib绘制图表，可以构建出完整的数据分析流程。 总的来说，Pandas...
python中pandas.DataFrame对行与列求和及添加新行与列示例
09-21
在Python的pandas库中，DataFrame是一个非常重要的数据结构，用于处理二维表格...在实际工作中，了解和熟练掌握这些基本操作，能够极大地提高数据处理的效率。如果你在使用过程中遇到任何问题，欢迎进一步探讨和交流。
pandas官方文档中文版_pandas_数据清洗_
10-01
**Pandas** 是一个在Python编程语言中广泛使用的数据分析库，它基于NumPy构建，提供了高效的数据处理和分析能力。Pandas的核心是DataFrame对象，它是一个二维的表格型数据结构，能够存储各种类型的数据，并提供了...
Python 数据分析&pandas基础.rar
03-24
Pandas是一个开源的Python库，专门设计用于处理和分析结构化数据。它构建在NumPy之上，提供了高效的数据结构，如DataFrame和Series，使得数据清洗、转换、聚合等操作变得简单直观。 1. **DataFrame与Series**: ...
【Python数据处理篇——DataFrame数据清洗】重复值处理、缺失值处理、特定值替换、删除指定条件行
热门推荐
Yedge的博客
10-23 1万+
有关DataFrame的数据清洗内容，包括重复值的处理、缺失值处理、特定值替换、删除指定条件行等
Pandas入门篇（二）-------Dataframe篇2（Dataframe数据的处理！巨详细易懂，适合新手！）（机器学习前置技术栈）
2301_77539454的博客
04-24 1486
Dataframe在进行数据清洗和预处理时，我们需要遵循一定的步骤和原则。首先，我们需要对数据进行整体的了解和探索，包括数据的来源、结构、分布以及存在的问题等。然后，我们可以根据问题的具体情况选择合适的方法进行清洗和处理。例如，对于缺失值，我们可以选择填充、删除或插值等方法；对于重复值，我们可以选择删除或合并等方法。同时，我们还需要注意保留数据的原始信息和特征，避免在清洗过程中引入新的误差或偏差。本篇详细的介绍了Dataframe进行数据清洗和预处理的api和原则。
pandas DataFrame数据处理
zj88189748的专栏
01-15 796
只需要满足其中之一的条件使用符号 | 或 or。两者都需要满足的条件使用符号 & 或 and。类似于sql中where的条件查询。6.2.4同时删除n行n列。
Pandas模块中的DataFrame数据操作
天际
03-09 2980
将Excel中的数据读入Pandas模块中的DataFrame结构，然后对数据进行增删查改等操作。
dataframe数据常用python操作
爱数据爱统计
05-14 766
dataframe的常用python操作
Pandas数据分析基础—pandas自带函数map()/apply()/applymap()
sodaloveer的博客
08-31 4328
在进行数据处理时，经常会对一个DataFrame展开逐行、逐列、逐元素的操作，对应这些操作，常常使用Pandas中的map、apply和applymap三个函数进行处理。本文主要讲这三个函数在series、dataframe数据结构下应用情况及三个函数的区别。
Pandas.DataFrame 的使用方法
Mark_Australia的博客
03-28 9632
DataFrame 的使用方法
使用pandas清洗错误数据并保存成CSV文件
Tan_HandSome的博客
05-23 3138
import pandas as pd import numpy as np A319 = np.array(pd.read_csv('A319_lr.txt')) A319_pd = pd.read_csv('A319_lr.txt') unormal = [] # 用于存储不正常数据的行号 for i in range(len(A319)): if A319[i][-1] &gt...
pandas常用的数据清洗与处理方法
06-06
以下是 pandas 常用的数据清洗与处理方法： 1. 缺失值处理：使用 `dropna()` 函数删除包含缺失值的行或列；使用 `fillna()` 函数填充缺失值。 2. 重复值处理：使用 `drop_duplicates()` 函数移除 DataFrame 中的重复行；使用 `duplicated()` 函数查找 DataFrame 中的重复行。 3. 数据类型转换：使用 `astype()` 函数将 DataFrame 中的数据类型转换为指定类型。 4. 数据合并：使用 `merge()` 函数将两个 DataFrame 按照指定的列进行合并；使用 `concat()` 函数将多个 DataFrame 沿着指定的轴进行合并。 5. 数据分组：使用 `groupby()` 函数将 DataFrame 按照指定的列进行分组，并对每个组进行统计分析。 6. 数据排序：使用 `sort_values()` 函数对 DataFrame 按照指定的列进行排序；使用 `sort_index()` 函数对 DataFrame 按照行或列的索引进行排序。 7. 数据透视表：使用 `pivot_table()` 函数对 DataFrame 进行透视，将数据按照指定的行和列进行汇总，并进行统计分析。 8. 数据切片与切块：使用 `loc()` 或 `iloc()` 函数对 DataFrame 进行行或列的切片；使用 `cut()` 函数将 DataFrame 数据按照指定的范围切块。 9. 数据聚合：使用 `agg()` 函数对 DataFrame 进行聚合操作，如求和、计数、平均值等。 10. 数据转换：使用 `apply()` 函数对 DataFrame 中的每个元素进行转换，如将字符串转换为日期类型、将数值进行归一化等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值