python之pandas库

最新推荐文章于 2024-06-10 15:53:13 发布
最新推荐文章于 2024-06-10 15:53:13 发布
阅读量392 收藏 7
点赞数 2
分类专栏： 学习记录 文章标签： python pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42384444/article/details/119487022
版权

python之pandas库

1. 前言

numpy在处理带标签的数据上有些力不从心。
在这里插入图片描述

2. 对象创建

2.1 带标签的一维数组series

  • 语法
pd.Series(data, index=index, dtype=dtype)

data: 数据，可以是列表，字典或者Numpy数组
index: 索引(标签)，可选参数
dtype: 数据类型，可选参数

2.1.1 用列表创建

  • index缺省，默认为整数序列
    在这里插入图片描述
  • 增加index标签
    在这里插入图片描述
  • 增加数据类型
    如果缺省，根据传入的数据自动挡那个判断
    在这里插入图片描述

在这里插入图片描述
数据支持多种类型，如

在这里插入图片描述
数据类型可以被强制改变
在这里插入图片描述
若元素不能被强制转化成对应的数据类型，将会报错。

2.1.2 用一维numpy数组创建

在这里插入图片描述

2.1.3 用字典创建

  • 默认字典中的key为对象的index， value为对象中的data
    在这里插入图片描述
  • 字典创建，如果指定index, 则会到字典中筛选，找不到的,设置值为Nan
    在这里插入图片描述

2.1.4 data为标量的情况

此时，值会自动赋值，填满所有标签。

在这里插入图片描述

2.2 带标签的多维数组DataFrame

  • 语法
pd.DataFrame(data, index=index, columns=columns)

data: 数据，可以是列表，字典，或者numpy数组
index: 索引，可选参数
columns: 列标签，可选参数

2.2.1 通过Series对象创建

在这里插入图片描述
列标签缺省，默认从0开始的整数
在这里插入图片描述

2.2.2 通过Series对象字典创建

在这里插入图片描述

在这里插入图片描述
数据不够时，会自动对齐
在这里插入图片描述

2.2.3 通过字典列表对象创建

  • 将列表中的每一个字典作为行值

  • 字典索引作为index，字典键作为columns
    在这里插入图片描述

  • 不存在的键，会默认值为Nan
    在这里插入图片描述

2.2.4 通过Numpy二维数组创建

在这里插入图片描述

3. DataFram性质

3.1 属性

在这里插入图片描述

3.1.1 df.values返回numpy数组表示的数据

即去除了标签
在这里插入图片描述

3.1.2 df.index返回行索引

在这里插入图片描述

3.1.3 df.columns返回列索引

在这里插入图片描述

3.1.4 df.shape 返回形状，维度

返回(m, n)表示m行n列
在这里插入图片描述

3.1.5 df.size 返回数据大小

在这里插入图片描述

3.1.6 pf.dtype返回每列数据的数据类型

在这里插入图片描述

3.2 索引

在这里插入图片描述

3.2.1 获取列

  • 字典方式
    在这里插入图片描述

  • 对象属性方式
    在这里插入图片描述

3.2.2 获取行

  • 绝对索引 df.loc
    在这里插入图片描述

  • 相对索引 df.iloc

在这里插入图片描述

3.2.3 获取标量

  • 绝对索引
    在这里插入图片描述

  • 相对索引

在这里插入图片描述

3.2.4 Series对象的索引

取dataframe一行数据为Series对象，验证：
在这里插入图片描述

在这里插入图片描述

3.3 切片

在这里插入图片描述

3.3.1 行切片

在这里插入图片描述

在这里插入图片描述
第三行取不到

3.3.2 列切片

在这里插入图片描述

3.3.3 多种多样的取值

  • 行列同时切片
    在这里插入图片描述

  • 行切片，列分散取值
    在这里插入图片描述

  • 行分散取值，列切片
    在这里插入图片描述

  • 行列均分散取值
    在这里插入图片描述
    loc是不能成功的。

3.4 布尔索引

3.4.1 比较运算

在这里插入图片描述

在这里插入图片描述

3.4.2 掩码

在这里插入图片描述
在这里插入图片描述

3.4.3 isin()方法

在这里插入图片描述

3.5 赋值

3.5.1 增加新列

  • 增加新列
    在这里插入图片描述
  • 修改赋值

在这里插入图片描述

3.5.2 修改Index和columns

在这里插入图片描述

4. 数值运算及统计分析

4.1 数据查看

在这里插入图片描述

4.1.1 查看前面的行

在这里插入图片描述

4.1.2 查看后面的行

在这里插入图片描述

4.1.3 查看总体信息

在这里插入图片描述
在这里插入图片描述

4.2 调用函数

4.2.1 向量化运算

在这里插入图片描述

4.2.2 矩阵化运算

在这里插入图片描述

  • 转置
    在这里插入图片描述
  • dot矩阵相乘
    在这里插入图片描述
    numpy和Pandas运算对比

纯粹的计算在Numpy中执行更快，Numpy更侧重于计算，Pandas侧重于数据处理。
Pandas基于Numpy，除了Pandas中额外的开销外，计算速度是差不多的。
python中原生的for循环速度明显慢很多。

4.2.3 广播运算

在这里插入图片描述

  • 按行广播
    在这里插入图片描述

  • 按列广播
    在这里插入图片描述

4.2.4 Pandas相对Numpy的新方法

  • 索引对齐
    在这里插入图片描述

4.3 统计相关

4.3.1 种类

在这里插入图片描述

4.3.2 排序

  • 通过某个列标签进行排序
    在这里插入图片描述
  • 按轴进行排序(按行列标签进行排序)

在这里插入图片描述

在这里插入图片描述

4.3.3 非空，求和，最大最小值

  • 非空
    在这里插入图片描述
  • 求和
    sum默认是以列为单位，将该列对应的所有行值相加

在这里插入图片描述

  • 最大最小值
    在这里插入图片描述

4.3.4 均值，方差，标准差

  • 均值
    在这里插入图片描述
  • 方差

在这里插入图片描述

  • 标准差
    在这里插入图片描述

  • 中位数
    在这里插入图片描述

  • 众数
    在这里插入图片描述

  • 75%分位数
    在这里插入图片描述

  • 一网打尽方法

在这里插入图片描述
数值类型：
在这里插入图片描述
字符类型：
在这里插入图片描述

4.3.5 相关系数，协方差

  • 相关性系数
    在这里插入图片描述
  • 看与某一列的相关系数
    在这里插入图片描述

4.3.6 汇总输出 decribe()

4.3.7 apply()自定义输出

在这里插入图片描述

  • cumsum: 累加函数

5 处理缺失值

5.1 发现缺失值

在数据中最好不要None，None更加消耗资源，使用NaN，np.NaN是一种特殊的浮点数。
在这里插入图片描述

5.2 删除缺失值

5.2.1 删除整行

在这里插入图片描述

5.2.2 删除整列

在这里插入图片描述

5.2.3 删除全是缺失值的行或者列

在这里插入图片描述

5.2.4 删除只有存在缺失值的行或者列

将5.2.3中的All改为any即可。

5.3 填充缺失值 fillna

5.3.1 按照指定值进行填充

在这里插入图片描述

5.3.2 按照均值进行填充

在这里插入图片描述

6. 合并数据

6.1 concat

  • 垂直合并
    在这里插入图片描述
    在这里插入图片描述

  • 水平合并

在这里插入图片描述

  • 当索引产生重复时，需要对索引进行重新排列，加上ignore_index=True即可
    在这里插入图片描述

6.2 merge对齐合并

两个对象元素存在相同时候，需要进行merge合并
在这里插入图片描述

7. 分组和数据透视表

在这里插入图片描述

7.1 分组groupby

7.1.1 延迟计算

在这里插入图片描述
执行groupby()时，会返回一个对象，并没有开始计算，等待调用函数时，采用进行计算。
在这里插入图片描述

7.1.2 按列取值，调用方法

  • 按列取值
    在这里插入图片描述

  • 按组迭代
    在这里插入图片描述

  • 调用方法
    在这里插入图片描述

  • 支持更复杂的操作
    在这里插入图片描述

  • 过滤
    在这里插入图片描述

  • 转换
    在这里插入图片描述

7.1.3 apply方法

在这里插入图片描述

7.1.4 设置分组值

在这里插入图片描述

  • 用字典将索引映射到分组
    在这里插入图片描述
  • 任意的python函数进行分组
    在这里插入图片描述
  • 多个有效值组成的列表
    在这里插入图片描述

7.2 数据透射表

privot_table

8. 其它

8.1 向量化字符串操作

8.2 时间序列化处理

8.3 多级索引

8.4 高性能的eval和query

  • 减少了复合代数式计算中间过程的内存分配
  • 内存一定，数据越大越有优势
    在这里插入图片描述
Raymond。
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中的pandas库
xzyb_175的博客
10-04 1321
pandas的数据结构和基本功能 Series对象 利用pd.Series函数生成series对象 #series对象相当于一维数组 import pandas as pd a=pd.Series([1,2,3]) #dtype为int64 a=pd.Series(["1","2","3"]) #dtype为object series对象的切片 a=pd.Series(np.arange(10)...
python之pandas
YeChao3的博客
11-08 850
目录 目录 1.生成数据表 读取csv文件 构建DataFrame 2.数据信息查看和索引 查看DataFrame的基本信息 索引 3.数据可视化 可视化：matplotlib.pyplot绘图 可视化：pandas绘图 ​ 制图实例 4.数据清洗 缺失值处理 字符串处理 数据转换：格式转换和异常值处理 重复项 重命名索引 离散化 5.数据规整 丢弃数据 ...
Pandas库
热门推荐
qq_46458188的博客
01-24 4万+
数据的排序 pandas库既可以操作索引，又可以操作数据。数据的排序，Pandas提供了两种方法。 .sort_index( )方法在指定轴上根据索引进行排序，默认升序。 .sorted_index(axis=0,ascending=True) ascending=True表示递增排序 .sort_values( )方法在指定轴上根据数值进行排序，默认升序。 .sort_values(索引，axis=0/1,ascending=True/False) 索引必须有，默认0轴，默...
python之pandas库，快速学习
qq_68411520的博客
06-15 7476
目录一、pandas的两种数据结构 1.pandas导入 2.Series （1）series：一维数据机构，可以保存任何类型的数据结构，相当于一列。 （2）series默认索引从0开始。也通过可以指定索引。 3.DataFrame （1）DataFrame：是一个矩阵的数据类型，既有行索引，也有列索引。 （2）DataFrame：可以更改
Python之Pandas详解
最新发布
twg666的博客
06-10 1280
Pandas是Python语言的一个扩展程序库，用于数据分析。Pandas是一个开放源码、BSD许可的库，提供高性能、易于使用的数据结构和数据分析工具。
Python数据分析与处理---Pandas库介绍
VN520的博客
02-20 9139
Pandas是数据分析三大剑客之一，是Python的核心数据分析库，它提供了快速、灵活、明确的数据结构，能够简单、直观、快速地处理各种类型的数据，具体介绍如下所示Pandas能够处理以下类型的数据：1.与SQL或Excel表类似的数据2.有序和无序（非固定频率）的时间序列数据3.带行、列标签的矩阵数据4.任意其他形式的观测、统计数据集。
3.5万字，图解Python数据分析最强库Pandas(全是干货，建议收藏)
wangluoanquan152的博客
11-06 8265
大家好，在 Python 各个工具包中，最频繁使用的应该就是 Pandas 了。今天我以图解的方式给大家介绍 Pandas 中各种常用的操作，内容有点长，喜欢记得点赞、收藏、关注。
Python学习笔记（十七）——Pandas库
weixin_60535956的博客
11-22 8063
详细解析pandas扩展包功能，助力数据分析！欢迎大家阅读。
Python3.7Pandas离线包
07-13
安装完成后，你就可以在Python环境中使用`import pandas as pd`来引入Pandas库，开始你的数据分析之旅。 总之，Python3.7 Pandas离线包为那些不能在线安装的用户提供了一种便捷的方式，使他们也能充分利用Pandas的...
Python之 Pandas数据处理
01-24
在Python的世界里，Pandas库是进行数据处理和分析的核心工具，尤其适合初学者和专业人士。Pandas提供了高效且易用的数据结构，如DataFrame和Series，使得数据操作变得简单直观。 1. **Pandas库的安装与数据读写** ...
Python之Pandas知识点
02-24
很多人都分不清Numpy，Scipy，pandas三个库的区别。在这里简单分别一下：NumPy：数学计算库，以矩阵为基础的数学计算模块，包括基本的四则运行，方程式以及其他方面的计算什么的，纯数学；SciPy：科学计算库，有一些...
Python使用Pandas库常见操作详解
09-18
主要介绍了Python使用Pandas库常见操作,结合实例形式详细分析了Python Pandas模块的功能、原理、数据对象创建、查看、选择等相关操作技巧与注意事项,需要的朋友可以参考下
Python数据分析之Pandas库的基本使用
m0_51489557的博客
05-19 3446
Python中Pandas库的的基使用，Serise对象的创建、索引修改、引用，pandas日期处理 Series.dt提供了很多日期相关操作，Series.dt提供了很多日期相关操作，DateTimeIndex：通过指定周期和频率，使用date.range()函数创建日期序列。默认情况下，范围的频率是天，DataFrame创建以及行、列的访问、删除、修改、追加，DataFrame常用属性，关于DataFrame统计的API（方差、协方差、标准差、相关系数），对数据的去重处理和排序（按索引和实际值排序）
学习 Python 之 Pandas库
qq_37354060的博客
05-28 1万+
学习 Python 之 Pandas库Pandas库什么是Pandas库?DataFrame 创建和存储1. 使用DataFrame构造函数(1). 使用列表创建(2). 使用字典创建(3). 从另一个DataFrame对象创建2. 从文件读取(1). 从.csv文件读取(2). 从excel文件读取3. 存储DataFrame 查看数据1. 查看前几行2. 查看后几行3. 格式查看4. 查看统计信息DataFrame 列操作1. 增加列2. 删除列3. 选择列4. 修改列 Pandas库 什么是Panda
Pandas库基本使用
Major_S的博客
08-12 1万+
Pandas库基本使用Pandas库基本使用Pandas库基本使用
Pandas数据分析库详解
Rocky006的博客
07-19 2914
本文这些示例只是Pandas应用的一小部分，只是为了使我们在学习中对Pandas有初步的了解。Pandas还提供了许多其他强大的功能，使数据分析和处理更加便捷。下面是一些扩展的Pandas功能：• 合并数据：Pandas提供了多种方法来合并不同的数据集，例如使用merge()函数按照指定的列将多个DataFrame进行合并，使用concat()函数沿着指定轴将多个DataFrame堆叠在一起，以及使用join()函数根据索引或列的值进行连接。• 拆分数据：你可以使用split()
python-pandas库
qq_38519358的博客
05-03 1697
pandas库简介
Python数据分析入门：使用Pandas库
Meiko的博客
03-23 3498
通过本文的介绍，了解了Python的Pandas库如何简化数据分析过程。Pandas提供了丰富的数据处理、筛选、排序、聚合和分组功能，使得数据分析变得高效便捷。本文只是Pandas的入门介绍，实际上Pandas的功能远不止于此。Series是一维数组，可以存储不同类型的数据，而DataFrame是一个二维表格结构，由多个Series组成。在进行数据分析之前，通常需要对数据进行预处理，包括处理缺失值、重复值和数据类型转换。可以使用iloc和loc方法访问和修改DataFrame中的数据。
Python连接pandas库
11-23
以下是Python连接pandas库的方法： ```python import pandas as pd # 读取csv文件 df = pd.read_csv('file.csv') # 读取Excel文件 df = pd.read_excel('file.xlsx') # 读取SQL数据库 import sqlite3 conn = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值