Python数据分析学习（三）Pandas学习

最新推荐文章于 2023-03-15 16:34:25 发布
最新推荐文章于 2023-03-15 16:34:25 发布
阅读量862 收藏 6
点赞数 3
分类专栏： # Python数据分析 文章标签： Pandas 数据分析 学习总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44835732/article/details/103318082
版权

目录

概述

Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。
Pandas 适用于处理以下类型的数据：

  • 与 SQL 或 Excel 表类似的，含异构列的表格数据;
  • 有序和无序（非固定频率）的时间序列数据;
  • 带行列标签的矩阵数据，包括同构或异构型数据;
  • 任意其它形式的观测、统计数据集, 数据转入 Pandas 数据结构时不必事先标记。

一、创建Pandas对象

  1. 通过传一些值的列表来创建一个Series,Pandas会自动创建一个默认的整数索引
    在这里插入图片描述
  2. 通过传递带有日期时间索引和带标签列的NumPy数组来创建DataFrame
    在这里插入图片描述
  3. 通过传递可以转化为类似Series的dict对象来创建DataFrame
    在这里插入图片描述

二、查看数据

（一）head()和tail()方法

查看DataFrame的顶部和头部
在这里插入图片描述

（二）显示索引、列和底层NumPy数据

在这里插入图片描述

（三）to_numpy()方法

对于df这种所有值为单一类型的DataFrame，to_numpy()操作是高效的，并且不会复制数据
在这里插入图片描述
4. 然而对于df2这种DataFrame对象有多种类型的，to_numpy操作是比较费事的
在这里插入图片描述

（四）describe()方法

显示数据的快速统计概要
在这里插入图片描述

（五）转置数据

在这里插入图片描述

（六）按轴排序

在这里插入图片描述

（七）按值排序

在这里插入图片描述

三、选择

（一）获取

选择一个列，产生一个“Serise”,相当于“df.A”，这里也可以通过[]选择，对行进行切片
在这里插入图片描述

（二）按标签选择

通过标签获取一行数据
在这里插入图片描述
通过标签在多个轴上选择数据
在这里插入图片描述
通过标签同时在两个轴上切片

在这里插入图片描述
减少返回对象的大小
在这里插入图片描述
获取标量值
在这里插入图片描述

（三）按位置选择

在这里插入图片描述
通过整数切片，类似于numpy/Python
在这里插入图片描述
通过传递整数的列表按位置切片，类似于numpy/Python
在这里插入图片描述
整行切片和整列切片
在这里插入图片描述
获取具体值
在这里插入图片描述

（四）布尔索引

从满足条件的DataFrame中选择值
在这里插入图片描述
可以通过isin()方法过滤所需的值
在这里插入图片描述

（五）赋值

添加新列将自动根据索引对其数据
在这里插入图片描述
在这里插入图片描述
经过以上的步骤后
在这里插入图片描述
带有条件的赋值
在这里插入图片描述

四、缺失值

Pandas主要使用值np.nan来表示缺失的数据。通常情况下，它不包含在计算中。
重建索引允许更改/添加/删除指定轴上的索引。这个操作会返回一个副本，不会改变原有对象
在这里插入图片描述
删除任何带有缺失值的行
在这里插入图片描述
填充缺失值
在这里插入图片描述
获取值为nan的掩码
在这里插入图片描述

五、操作

（一）统计

进行描述性统计
在这里插入图片描述
在其他轴（行）上进行同样的操作
在这里插入图片描述
使用具有不同维度且需要对齐的对象进行操作。 此外，Pandas会自动沿指定维度进行广播。
在这里插入图片描述

（二）应用

将函数运用于数据
在这里插入图片描述

（三）直方图化

在这里插入图片描述

（四）字符串方法

Series在str属性中配备了一组字符串处理方法，可以轻松地对数组的每个元素进行操作,str中的模式匹配中默认情况下通常使用正则表达式
在这里插入图片描述

六、合并

（一）连接

  1. ==concat()==连接Pandas对象
    在这里插入图片描述
    拆分并连接起来
    在这里插入图片描述

（二）join

SQL风格的合并，==merge()==方法
在这里插入图片描述

（三）追加

给DataFrame追加一行
在这里插入图片描述

七、分组

涉及以下步骤：

  • 分割：根据一些标准将数据分成组
  • 应用：将函数独立地应用于每个组
  • 组合：将结果组合成数据结构
    先构建一个DataFrame
    在这里插入图片描述
    在这里插入图片描述

八、重塑

堆叠（Stack）

==stack()==压缩DataFrame或者Series
==unstack()==是stack()的逆操作，默认情况下取消最后压缩的那个级别

九、数据透视表

我们有如下数据
在这里插入图片描述
现在我们将其生成透视表pivot_table()方法
在这里插入图片描述

十、时间序列

不解，待后续添加

十一、分类

Pandas可以在DataFrame中包含分类数据。
将原始成绩转换为category数据类型
在这里插入图片描述
通过调用Series.cat.categories来替换，将类别名重命名为更有意义的名称
在这里插入图片描述
Series.cat.set_categories()方法对categories重新排序并同时添加缺少的category
在这里插入图片描述
可以按categories中的顺序排序
在这里插入图片描述
按分类的列分组（groupby）可以显示空categories
在这里插入图片描述

十二、绘图


参阅Plotting文档

十三、数据输入\输出（各类型文件的输入输出）

在《Python数据分析学习（三）掌握数据加载、存储、文件格式》博文中将有更详细的说明

CSV文件

  1. 写入CSV文件
df.to_csv('foo.csv')
  1. 从CSV文件读数据
pd.read_csv('foo.csv')

Excel文件

  1. 写入excel文件
df.to_excel('foo.xlsx', sheet_name='Sheet1')
  1. 从Excel文件读取数据
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

HDF5文件

写入HDF5

df.to_hdf('foo.h5', 'df')

从HDF5读取数据

pd.read_hdf('foo.h5', 'df')

结语

什么？不详细，不得劲，来来来说道说道，开个玩笑，大家的学习欲望还没有满足的话，可以继续学习哦，参考资料里为大家准备了不少学习的传送门，大家加油！

参考资料

  1. 文档
    Pandas中文文档
  2. 视频教程
    Python进阶-Pandas数据分析库
    【全30集】使用 pandas 进行数据分析
    注：两者均为哔哩哔哩视频，前者由国人讲授，后者为油管搬运（无字幕，有野生翻译菌，需量力而行）
  3. 练习
    Pandas练习
    Pandas练习-GitHub
    注：前者为后者的翻译内容
莫莫先生
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python之numpy
weixin_38428439的博客
11-13 2151
Python之numpy
python使用pd.to_numeric()方法将数据转为数字类型int或float
weixin_46713695的博客
06-03 1万+
pandas.to_numeric()
python、pandas、numpy常用命令
weiyuangong的博客
07-15 1117
pandas、numpy的常用命令
python to_numpy()方法 AttributeError: ‘tuple‘ object has no attribute ‘to_numpy‘
sinat_39027078的博客
04-11 1万+
最近在使用reportlib库生成PDF，表格部分使用该函数对数据进行转换，转换成指定格式以生成PDF中的表格。 对数据产生以下错误： AttributeError: 'tuple' object has no attribute 'to_numpy' to_numpy()方法将数据转换为一个Numpy 数组 该方法中有三个参数： 1、dtype:传递的数据类型，这个类型一般使用的是 DataFrame、Series 格式 2、copy:是否保存数据副本 3、na_value:可选用于缺失值
【python基础】【pandas】读取数据pd.read_csv、列表切片iloc、转换成数组to_numpy
qq_43520842的博客
08-25 3169
【代码】【python基础】【pandas】读取数据pd.read_csv、列表切片iloc、转换成数组to_numpy。
Python数据分析之pandas学习
01-27
index，利用pandas查询数据，统计分析等。在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式...
Python数据分析实践：Pandas数据可视化new.pdf
06-14
2022/3/6 4.6 Pandas数据可视化 4.6.1 可视化简介 pyplot 模块 Pandas的数据可视化依赖于matplotlib模块的pyplot类，通过Matplotlib，可以简单地绘制出常用的统计图形。 Pandas 提供了 plot() 方法可以快速 方便地将...
python数据分析pandas数据源
10-09
python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析pandas数据源python数据分析...
Python数据分析库：Pandas视频教程
06-09
Pandas视频培训课程，本教程会讲解Python数据分析库Pandas的所有核心API，这些API很多都是依赖其他的库，如NumPy、Matplotlib等,Pandas只是在表层做了一个封装。本课程内容包含Pandas的数据操作，还涉及Numpy，...
10分钟入门pandas
Cser_zhu的博客
03-28 1109
翻译自官网：pandas官网 pandas version:1.3 导入pandas和numpy import pandas as pd import numpy as np 创建对象 Series对象 通过传入一个list列表来创建Series,默认的index是从0开始的整数。 s = pd.Series([1,2,3,np.nan,7,3]) print(s) #output 0 1.0 1 2.0 2 3.0 3 NaN 4 7.0 5 3.0 dtype:.
from-python-to-numpy, 一种开放存取图书numpy的矢量化技术 Rougier，2017.zip
09-17
from-python-to-numpy, 一种开放存取图书numpy的矢量化技术 Rougier，2017 从 python 到Numpy的版权所有( c ) 2017 Nicolas 。 Rougier许可证: 创意通用归属 4.0国际( CC BY-NC-SA 4.0 ) 。网站: http://www.labri.fr/perso/
c#方法（函数）
记录点滴
09-26 667
语法： public : 访问修饰符，公开的，那都可以访问； static：静态的； 返回值类型：如果不需要返回值，写viod； 方法名：每个单词字母大写； 参数列表：可省略，注意参数前边也必须要带上参数的类型。 [ public ] static 返回值类型 方法名（[参数列表]） { 方法体； } 如： 1、求最大值： class Hello { static void Main() { } public...
python pandas和numpy_python pandas Series.to_numpy用法及代码示例
weixin_39636898的博客
11-24 1672
表示此Series或Index中的值的NumPy ndarray。0.24.0版中的新功能。参数：dtype：str 或 numpy.dtype, 可选参数传递给的dtypenumpy.asarray()。copy：bool, 默认为 False是否确保返回的值不是另一个数组上的视图。注意copy=False不保证to_numpy()是no-copy。而是copy=True即使不是绝对必要，也请确...
25 pandas的使用，转成numpy数组以及将list数组保存成csv格式的文件
hxshine的博客
05-02 1万+
import pandas as pdpd.read_csv('C:\\Users\\hx133330\\Desktop\\test1.csv') seriesuid coordX coordY coordZ diameter_mm Unnamed: 5 0
python的时间转换datetime和pd.to_datetime
L.Z.的博客
09-24 14万+
    我们在python对数据进行操作时，经常会选取某一时间段的数据进行分析。这里为大家介绍两个我经常用到的用来选取某一时间段数据的函数：datetime( )和pd.to_datetime( )。 （一）datetime( )     （1）获取指定的时间和日期。datetime(%Y,%m,%d,%H,%M,%S)     datetime共有6个参数，分别代表的是年月日时分秒。其中年...
numpy的ndarray与pandas的series和dataframe之间互转
立身以力学为先，力学以读书为本。 —郑耕老《劝学》
04-06 8万+
在大数据分析中，比较常用的两个数据分析包就是numpy和pandas，而pandas正是基于numpy构建的含有更高级数据结构和工具的数据分析包，在金融领域应用更是广泛。在实际的工程中，经常遇到的问题就是numpy的ndarray数据结构与pandas的series和dataframe数据结构之间的互相转换问题。现在我分3种情况，在python程序中列一下互转的情况，应该比较全面了。 情况1
pandas的日期时间间隔运算（pd.to_datetime和pd.to_numeric）
cf_jack的专栏
08-09 2万+
转载自：https://www.jianshu.com/p/26c48361ed24 有时，我们需要对日期进行简单的运算，这就要使用到了日期运算和转换的函数。 例如： 源数据 其中使用pd.to_datetime可以统一将time.strftime("%Y/%m/%d")生成的日期转换成日期格式的数据。time.strftime("%Y/%m/%d")生成的日期为字符串格式。 一、计...
将Pandas中的DataFrame类型转换成Numpy中array类型的三种方法
热门推荐
姿势水平
04-25 15万+
在用pandas包和numpy包对数据进行分析和计算时，经常用到DataFrame和array类型的数据。在对DataFrame类型的数据进行处理时，需要将其转换成array类型，是以下列出了三种转换方法。首先导入numpy模块、pandas模块、创建一个DataFrame类型数据dfimport numpy as np import pandas as pd df=pd.DataFrame({...
python: pandas与numpy（一）创建DataFrame数组与数组的简单操作
weixin_66118670的博客
03-15 2858
本文对pandas不做过多的解释，主要内容为利用numpy的基本技巧创建DaraFrame数组，仅为个人学习记录+复习，如有错误请指出。注意：在pandas内部往往会用到很多与numpy有关的函数，千万不要弄混，一定铭记numpy和pandas是两个不同的三方库，pandas是在numpy的基础上建立的三方库，其很多内容都与numpy有着异曲同工之妙。
python数据分析活用pandas
最新发布
06-28
Python数据分析活用pandas是一种利用Python编程语言和pandas库进行数据分析的方法。pandas是一个强大的数据分析工具，可以帮助用户处理和分析大量数据。使用pandas，用户可以轻松地读取、处理、转换和分析数据，以便...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值