pandas库DataFrame模块的入门学习--最全面的DataFrame总结

已于 2024-09-29 15:20:08 修改
阅读量274 收藏
点赞数 7
分类专栏： python pandas 数据结构 文章标签： pandas 学习 python
于 2024-09-29 15:19:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51930093/article/details/142630954
版权
python 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
pandas
1 篇文章 0 订阅
订阅专栏
数据结构
1 篇文章 0 订阅
订阅专栏

DataFrame 是 pandas 库中最核心的数据结构之一，可以看作是一个二维的数据表结构，类似于 Excel 表格或 SQL 中的表格。它由行和列组成，每一列可以存储不同类型的数据（如整数、浮点数、字符串等）。DataFrame 是进行数据分析、处理、清理等操作的强大工具，广泛应用于数据科学和数据分析领域。
以下将从 创建DataFrame、DataFrame的基本操作、DataFrame 的高级操作三方面进行分析和总结，详细介绍每个方法的使用。

import pandas as pd
import numpy as np

# %%%%%%%%%%%%%%%%%创建DataFrame%%%%%%%%%%%%%%%%%%%%%%%%%
# **********从字典创建DataFrame**************
data = {"name": ["li", "wang", "chong"],
        "age": [18, 20, 18],
        "city": ["河南", "陕西", "杭州"]}
df = pd.DataFrame(data)
print(df)
#     name  age city
# 0     li   18   河南
# 1   wang   20   陕西
# 2  chong   18   杭州
# *********从列表创建DataFrame***************
data = [["li", 18, "河南"],
        ["wang", 20, "陕西"],
        ["chong", 18, "杭州"]]
df = pd.DataFrame(data, columns=["name", "age", "city"])
print(df)
#     name  age city
# 0     li   18   河南
# 1   wang   20   陕西
# 2  chong   18   杭州
# *********从Numpy数组创建DataFrame**********
# 不建议使用，可能会碰到需要转换数据类型的错误
# data = np.array([["li", 18, "河南"],
#                 ["wang", 20, "陕西"],
#                 ["chong", 18, "杭州"]])
# df = pd.DataFrame(data, columns=["name", "age", "city"])
# print(df)
#     name age city
# 0     li  18   河南
# 1   wang  20   陕西
# 2  chong  18   杭州

# %%%%%%%%%%%%%%%%%DataFrame的基本操作%%%%%%%%%%%%%%%%%%%
# 1、查看 DataFrame
# ************* 查看前几行数据*******************
print(df.head())  # 默认显示前 5 行
print(df.head(2))  # 显示前 2 行
# ************* 查看后几行数据*******************
print(df.tail())  # 默认显示后 5 行
print(df.tail(2))  # 显示后 2 行

# 显示DataFrame的基本信息，包括每列的类型、非空值数量，dtypes属性,内存占用等
df.info()
# 显示数值型数据的统计摘要（如均值、标准差、最小值、四分位数等）
print(df.describe())
#              age
# count   3.000000
# mean   18.666667
# std     1.154701
# min    18.000000
# 25%    18.000000
# 50%    18.000000
# 75%    19.000000
# max    20.000000
# 显示行数和列数
print(df.shape)
# (3, 3)
# 获取列名称
print(df.columns)
# Index(['name', 'age', 'city'], dtype='object')
# 查看每列的数据类型
print(df.dtypes)
# name    object
# age      int64
# city    object
# dtype: object
# 2、访问DataFrame数据
# # *******************访问列*******************
# 访问单列
# print(df["name"])
# # 0       li
# # 1     wang
# # 2    chong
# # Name: name, dtype: object
# 访问多列
# print(df[["name", "age"]])
# #     name  age
# # 0     li   18
# # 1   wang   20
# # 2  chong   18
# *******************访问行*******************
# # 按位置获取第 0 行数据
print(df.iloc[0])
# name    li
# age     18
# city    河南
# Name: 0, dtype: object
# 按标签获取第 0 行数据
print(df.loc[0])
# name    li
# age     18
# city    河南
# Name: 0, dtype: object
# 获取第 0 到第 1 行的数据
print(df.iloc[0:2])
#    name  age city
# 0    li   18   河南
# 1  wang   20   陕西
# # **************数据过滤*********************
# # 避免numpy转换的DataFrame int数据类型错误
# 单条件查询，获取 age 大于 18 的行
df_filter = df[df["age"].astype('int64') > 18]
print(df_filter)
# #    name  age city
# # 1  wang   20   陕西
# 多条件查询，获取 age 大于 18和城市为陕西的行
df_multi_filter = df[(df['age'] > 18) & (df['city'] == '陕西')]
print(df_multi_filter)
#    name  age city
# 1  wang   20   陕西
# # # ************保存为excel文件****************
# df.to_excel("output.xlsx", index=False)
# 3、修改DataFrame数据
# *****************修改列值**********************
# 增加 age 列的每个值 2
df['age'] = df['age'] + 2
print(df)
# # *****************新增列*********************
df["salary"] = [20000, 30000, 50000]  # 新增1列
print(df)
#     name  age city  Salary
# 0     li   18   河南   20000
# 1   wang   20   陕西   30000
# 2  chong   18   杭州   50000
#  *****************删除列*********************
df.drop('salary', axis='columns', inplace=True)  # 删除salary 列，inplace=True 表示原地修改
print(df)
#     name  age city
# 0     li   20   河南
# 1   wang   22   陕西
# 2  chong   20   杭州
#  *****************重命名列*********************
# df.rename(columns={'age': 'age_years'}, inplace=True)  # 将 Age 列重命名为 Age_Years
# print(df)
#     name  age_years city
# 0     li         20   河南
# 1   wang         22   陕西
# 2  chong         20   杭州

# 4、数据清理
#  *****************处理缺失值*********************
# 删除包含 NaN 的行
df.dropna()
# 将所有 NaN 替换为 0
df.fillna(0)
# 使用列的均值填充 NaN
# df['age'].fillna(df['age'].mean(), inplace=True)
df
# ******************删除重复值*********************
data = [["li", 18, "河南"],
        ["wang", 20, "陕西"],
        ["chong", 18, "杭州"],
        ["li", 18, "河南"]]
df = pd.DataFrame(data, columns=["name", "age", "city"])
print(df)
#     name  age city
# 0     li   18   河南
# 1   wang   20   陕西
# 2  chong   18   杭州
# 3     li   18   河南
df.drop_duplicates(inplace=True)  # 删除重复的行
print(df)
#     name  age city
# 0     li   18   河南
# 1   wang   20   陕西
# 2  chong   18   杭州
# 5、数据排序
# ******************按列排序*********************
# 按 age列升序排序
df.sort_values(by='age', ascending=True, inplace=True)
print(df)
#     name  age city
# 0     li   18   河南
# 2  chong   18   杭州
# 1   wang   20   陕西
# 按 age 列降序排序
df.sort_values(by='age', ascending=False, inplace=True)
print(df)
#     name  age city
# 1   wang   20   陕西
# 0     li   18   河南
# 2  chong   18   杭州
# 按多个列排序
df.sort_values(by=['age', 'name'], ascending=[True, False], inplace=True)
print(df)
#     name  age city
# 0     li   18   河南
# 2  chong   18   杭州
# 1   wang   20   陕西
# 按索引降序排列
data = [["li", 18, "河南"],
        ["wang", 20, "陕西"],
        ["chong", 18, "杭州"],
        ["li", 18, "河南"]]
df = pd.DataFrame(data, columns=["name", "age", "city"])
print(df)
df.sort_index(ascending=False, inplace=True)
print(df)
#     name  age city
# 3     li   18   河南
# 2  chong   18   杭州
# 1   wang   20   陕西
# 0     li   18   河南

# 6. 分组和聚合
# 按某列分组并进行聚合操作（如均值、求和等）
data = [["li", 18, "河南"],
        ["wang", 20, "陕西"],
        ["chong", 18, "杭州"],
        ["zhu", 22, "河南"]]
df = pd.DataFrame(data, columns=["name", "age", "city"])
print(df)
print(df.groupby("city")["age"].sum())
# city
# 杭州    18
# 河南    40
# 陕西    20
# Name: age, dtype: int64
print(df.groupby(["city", "name"])["age"].mean())
# city  name
# 杭州    chong    18.0
# 河南    li       18.0
#       zhu      22.0
# 陕西    wang     20.0
# Name: age, dtype: float64
# 聚合多个列
df["salary"] = [20000, 30000, 40000, 50000]  # 新增1列
print(df)
#     name  age city  salary
# 0     li   18   河南   20000
# 1   wang   20   陕西   30000
# 2  chong   18   杭州   40000
# 3    zhu   22   河南   50000
# 对 age 计算均值，对 salary 计算和
print(df.groupby('city').agg({'age': 'mean', 'salary': 'sum'}))
#        age  salary
# city
# 杭州    18.0   40000
# 河南    20.0   70000
# 陕西    20.0   30000
# 7、合并、连接和操作数据
# 合并两个 DataFrame
data1 = {"name": ["li", "wang", "chong"],
        "age": [18, 20, 18]}
df_1 = pd.DataFrame(data1)
data2 = {"name": ["li", "wang", "chong","zhu"],
        "salary": [200000, 300000, 100000, 80000]}
df_2 = pd.DataFrame(data2)
df12 = df_1.merge(df_2, on="name")
print(df12)
#     name  age  salary
# 0     li   18  200000
# 1   wang   20  300000
# 2  chong   18  100000
df_1_2 = pd.merge(df_1, df_2, on="name")
print(df_1_2)
#     name  age  salary
# 0     li   18  200000
# 1   wang   20  300000
# 2  chong   18  100000

# 拼接两个 DataFrame
df1 = pd.DataFrame({'Name': ['Alice', 'Bob'], 'Age': [25, 30]})
df2 = pd.DataFrame({'Name': ['Charlie', 'David'], 'Age': [35, 40]})
# 纵向拼接
concat_df = pd.concat([df1, df2], ignore_index=True)
# 注意 ignore_index 如果为False，则索引为 0 1 0 1
print(concat_df)
#       Name  Age
# 0    Alice   25
# 1      Bob   30
# 2  Charlie   35
# 3    David   40
# 8. 导入和导出数据
# *************读取 CSV 文件****************
# df = pd.read_csv('data.csv')
# *************读取 Excel 文件****************
# df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
# 保存为 CSV 文件，index=False 不保存索引
# df.to_csv('output.csv', index=False)
# 保存为 Excel 文件，index=False 不保存索引
# df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)

# %%%%%%%%%%%%%%%%%%%DataFrame 的高级操作%%%%%%%%%%%%%%%%%%%%
data = {"name": ["li", "wang", "chong"],
        "age": [18, 20, 18],
        "city": ["河南", "陕西", "杭州"]}
df = pd.DataFrame(data)
# 1. 使用 apply 函数
# apply 函数可以对 DataFrame 的每一列或每一行应用自定义函数，非常灵活。
df['future_age'] = df['age'].apply(lambda x: x + 10)  # 对 Age 列应用 lambda 函数
print(df)
#     name  age city  future_age
# 0     li   18   河南          28
# 1   wang   20   陕西          30
# 2  chong   18   杭州          28
# 2. 透视表（Pivot Table）
# pivot_table 用于创建类似 Excel 的透视表，帮助对数据进行多维汇总和分析
data = {
    'Name': ['Alice', 'Bob', 'Alice', 'Bob', 'Charlie'],
    'City': ['New York', 'Los Angeles', 'New York', 'Los Angeles', 'New York'],
    'Age': [25, 30, 27, 28, 35]
}
df = pd.DataFrame(data)
print(df)
#       Name         City  Age
# 0    Alice     New York   25
# 1      Bob  Los Angeles   30
# 2    Alice     New York   27
# 3      Bob  Los Angeles   28
# 4  Charlie     New York   35
pivot = df.pivot_table(values='Age', index='City', columns='Name', aggfunc='mean')
print(pivot)

# Name        Alice  Bob  Charlie
# City
# Los Angeles    NaN   29      NaN
# New York      26.0  NaN     35.0

# 3、时间序列数据处理
# 创建示例数据
data = {
    'Date': ['2023-01-05', '2023-01-15', '2023-02-03', '2023-02-20', '2023-03-05', '2023-03-25'],
    'Temperature': [5, 7, 10, 8, 15, 12],
    'Rainfall': [10, 12, 8, 5, 0, 2]
}

# 创建 DataFrame
df = pd.DataFrame(data)
print("原始数据：")
print(df)
# 原始数据：
#          Date  Temperature  Rainfall
# 0  2023-01-05            5        10
# 1  2023-01-15            7        12
# 2  2023-02-03           10         8
# 3  2023-02-20            8         5
# 4  2023-03-05           15         0
# 5  2023-03-25           12         2
# 将 Date 列转换为 datetime 格式
df['Date'] = pd.to_datetime(df['Date'])

# 将 Date 列设置为索引
df.set_index('Date', inplace=True)

print("设置日期为索引后的数据：")
print(df)
# 设置日期为索引后的数据：
#             Temperature  Rainfall
# Date
# 2023-01-05            5        10
# 2023-01-15            7        12
# 2023-02-03           10         8
# 2023-02-20            8         5
# 2023-03-05           15         0
# 2023-03-25           12         2
# 按月重采样并计算每月的平均值
monthly_average = df.resample('M').mean()

print("按月重采样后的数据：")
print(monthly_average)
# 按月重采样后的数据：
#             Temperature  Rainfall
# Date
# 2023-01-31          6.0      11.0
# 2023-02-28          9.0       6.5
# 2023-03-31         13.5       1.0

【以上基本上涵盖了pandas库中DataFrame的所有常用的用法，欢迎各位学习和交流！】

少年近视
关注
专栏目录
【Python常用模块】_Pandas模块3-DataFrame对象
weixin_50296259的博客
06-07 89
使用列表/元组创建(外层列表/元组内的每一个元素为一行)# 列表(元组)嵌套列表(元组)# 行标签和列标签均为默认# 列表(元组)嵌套字典# 行标签为默认，列标签使用字典的key使用字典创建(字典里的每一对key-value为一列)# 字典的values为列表(元组)# 行标签为默认，列标签使用字典的key# 可以在创建DataFrame对象的时候，通过index参数自定义行标签# 字典的values为Series对象。
Python 如何使用dask库来并行化Pandas DataFrame
zhangzhechun的专栏
02-28 373
Dask 是一个用于并行计算的 Python 库，它可以处理比内存大得多的数据集。Dask DataFrame 是一个类似于 Pandas DataFrame 的大型并行数据结构，它可以在分布式计算环境中高效地执行复杂的数据操作。首先，确保你已经安装了 Dask。是一个额外的依赖项，它包含了 Dask 的所有核心依赖，包括用于数据处理的额外工具。你可以从现有的 Pandas DataFrame、CSV 文件、SQL 数据库或其他支持的数据源创建 Dask DataFrame。
Pandas入门篇（二）-------Dataframe篇1（Dataframe基础知识以及单个Dataframe的处理）（机器学习前置技术栈）
2301_77539454的博客
04-23 2138
本篇主要演示了Dataframe 属性、Dataframe 创建、Pandas 读取和保存数据、Dataframe 数据的选择、Dataframe 的常用方法、Dataframe 修改行列索引等内容，更多知识点请期待下期
#Python 19- Pandas模块-DataFrame入门
Pysamlam的博客
08-26 92
pandas确实比较重要，所以我还是花多点时间和精力来细细学习具体的用法，所以未来几天的推文都是会围绕着pandas模块来进行专题学习与推送嘻嘻！pandas是pytho...
Pandas入门系列（三）-- 深入理解Series和DataFrame
越看越喜欢啊
06-02 6172
##数据分析汇总学习 https://blog.csdn.net/weixin_39778570/article/details/81157884 DataFrame和Series # 导入需要的模块 >>> import pandas as pd >>> import numpy as np >>> from pandas impor...
Python Pandas库 最快入门教程（最简单最详细）
hanmo22357的博客
10-23 7848
算术运算按照行列索引进行补齐后运算，运算结果默认为浮点数形式。如果补齐时发生空缺则自动填充空值NaN。高维数据和低维数据之间发生的运算为广播运算。算术运算可以直接使用运算符进行，也可以使用相应的方法。使用方法相比于直接使用运算符，其优点在于可以使用一些可选参数。在排序中，所有NaN值都默认放到排序的末尾。
Python 数据分析-pandas 库入门
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
12-14 477
本文主要记录了 Series 和 DataFrame 作为 pandas 库的基本结构的一些特性，如何创建 pandas 对象、指定 columns 和 index 创建 Series 和 DataFrame 对象、赋值操作、属性获取、索引对象等，这章介绍操作 Series 和 DataFrame 中的数据的基本手段。
Python教程75：Pandas中DataFrame数据的修改操作
我的Python教程
11-25 1210
有两个方向的标签轴，分别是行标签和列标签。每一列的标签值允许使用不同的数据类型。结构的行数、列数允许增加或者删除。2.修改DataFrame中的数据。表格型的数据结构，具有行和列。可以对行和列执行算术运算。每个数据值都可以被修改。
pandas教程-----DataFrame入门（12/4）
ydmichelle的博客
12-04 702
pandas是python环境下最有名的数据统计包，而DataFrame翻译为数据框，是一种数据组织方式，这么说你可能无法从感性上认识它，举个例子，你大概用过Excel，而它也是一种数据组织和呈现的方式，简单说就是表格，而在在pandas中用DataFrame组织数据，如果你不print DataFrame，你看不到这些数据，下面我们来看看DataFrame是如何使用的。 首先是引入
Python库 | dagster-pandas-0.5.0rc0.tar.gz
03-02
Pandas是Python中用于数据分析的核心库，它提供了DataFrame和Series数据结构，使得数据清洗、转换和分析变得异常简单。dagster-pandas则进一步扩展了这一功能，将Pandas集成到dagster的数据管道中，使得在大规模数据...
Python之Pandas超详细入门教程 -- 第四章 Pandas中文件读取与存储【基础篇】
hhladminhhl的博客
10-20 1499
我们的数据大部分存在于文件当中，所以pandas会支持复杂的IO操作，pandas的API支持众多的文件格式，如CSV、SQL、XLS、JSON、HDF5。 注：最常用的HDF5和CSV文件。 1 CSV 1.1 read_csv pandas.read_csv(filepath_or_buffer, sep =’,’, usecols ) filepath_or_buffer:文件路径 sep :分隔符，默认用","隔开 usecols:指定读取的列名，列表形式 举例：读取之前的股票的数据
Spring Boot 学习和使用
cesske的博客
09-24 1162
Spring Boot是一款开源的Java Web应用框架，旨在简化Spring应用的初始搭建以及开发过程。Spring Boot通过整合Spring技术栈中的诸多关键组件，为开发者提供了一种快速、简便的Spring应用开发方式。它遵循“约定优于配置”的原则，通过自动配置、起步依赖和内置的Servlet容器，极大地简化了传统Spring应用的配置和部署过程。Spring Boot通过其自动化配置、起步依赖、内嵌服务器等特性，极大地简化了Spring应用的开发和部署过程。
大模型输入参数学习
AI智能，无处不在
09-25 548
top_p和top_k：用于控制生成文本的多样性和连贯性。较小的值会使生成的文本更连贯但缺乏多样性，较大的值会使生成的文本更随机和多样。：用于控制生成文本的随机性。较高的值增加随机性，较低的值增加确定性。：用于控制生成文本的长度。
Nexus学习
howwickhappy的博客
09-24 997
Nexus 是一个开源的仓库管理器，用于管理和分发软件构建的组件。
Linux入门学习：进程概念
Lvision2的博客
09-24 1088
在课本的概念中，进程程序的一个执行实例，正在执行的程序。其内核观点：担当分配系统资源（CPU时间，内存）的实体。但这些概念太笼统，并不能让我们更加清晰的知道进程是什么，实际上，进程是内核数据结构(pcb) + 程序的代码与数据。pcb(process control block)进程控制块，进程信息被放在一个叫pcb的数据结构中，可以理解为进程属性的集合。在Linux入门学习：深刻理解计算机硬件与OS体系中，我们已经了解到。
H.264学习笔记
zfenggo的博客
09-26 761
H.264凭借其出色的压缩效率、灵活的编码方式以及高质量的视频表现，成为了现代视频技术的核心标准之一。它不仅减少了存储需求，还提高了流媒体和实时视频传输的可行性。对于从高清到超高清视频，H.264的编码能力仍然广泛适用。H.264的帧结构设计（I帧、P帧和B帧）极大地提高了视频编码的压缩效率。I帧保存完整的图像信息，P帧通过参考之前的帧减少冗余数据，而B帧则通过双向参考提供进一步的压缩优势。这种帧间的协同工作大幅降低了带宽需求和存储成本，同时保持了视频的高质量。NALU头。
从0学习React（3）
最新发布
qq_54432917的博客
09-29 252
在第一篇文章中，我们对index.tsx文件的每一行代码都做了简单的分析。通过第一篇文章的总结，我也大致知道了index.tsx里的很多语法。而第二篇文章，我对index.tsx文件的框架做了一个大致的分析，通过第二篇文章，我对index.tsx有了进一步的认识。按理来讲，第三篇文章我还是解析index.tsx文件，但是我发现，对于前两篇文章，其实我对语法的细节有很多不明白的点。因此这篇文章，我就把React的一些最基础的知识给梳理一下，帮助我更好的理解index.tsx的代码。
2024-2025华为ICT大赛报名｜赛前辅导｜学习资料
qq2859066538的博客
09-25 290
华为ICT大赛是华为公司打造的面向全球高校的年度ICT赛事，大赛以“联接、荣耀、未来”为主题，协同政府、高等教育机构、培训机构和行业企业，促进高校ICT人才培养、成长和就业，助力ICT人才生态繁荣。华为ICT大赛2023-2024实践赛涵盖网络、云、计算（第九届华为ICT大赛更名为基础软件）和昇腾AI四个赛道。为有效帮助参赛者把握命题思路、突破重点内容、检验学习效果、提高实战经验，更充分地备战大赛，华为首次推出华为ICT大赛2023-2024实践赛真题实战系列课程，为您铺就通往大赛的成功之路。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值