Pandas学习2

最新推荐文章于 2024-06-14 09:50:01 发布
最新推荐文章于 2024-06-14 09:50:01 发布
阅读量268 收藏 1
点赞数
分类专栏： 数据分析 文章标签： pandas python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/windyjcy/article/details/126667159
版权

Pandas学习2

None

两种缺失数据：None、np.nan(NaN)
None是python自带的，不能参与计算。类型是object
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

np.nan

浮点类型，说明能参与计算，但是结果是nan
在这里插入图片描述
在这里插入图片描述

pandas中的None和np.nan

pandas中的None和np.nan都视为np.nan

如果列中有一个数变成了浮点数，那么整个列都会变成浮点数
在这里插入图片描述

判断是否有缺失

isnull()
notnull()
在这里插入图片描述

any() 默认对行处理，判断每一列是否有空数据
在这里插入图片描述

加入axis改成判断行
在这里插入图片描述

删除缺失值

默认axis=0，删除行；加上how=‘all’，只有全部是nan才删除
并且注意这个方法不会修改原来的数据，需要接收返回值
在这里插入图片描述

在这里插入图片描述

子集的功能，用于判断子集中是否有空，有空就删除
在这里插入图片描述

参数thresh，应该是保留至少有n个非NaN数据的行/列

In [6]: data
Out[6]: 
    0     1     2     3   4

0  32  38.0  11.0  69.0  34

1  59   NaN   NaN   NaN  62

2  14  79.0   NaN   NaN  78

3  77  76.0  17.0   NaN  89

4   6  40.0  53.0  60.0  70



In [7]: data.dropna(thresh=1)

Out[7]: 

    0     1     2     3   4

0  32  38.0  11.0  69.0  34

1  59   NaN   NaN   NaN  62

2  14  79.0   NaN   NaN  78

3  77  76.0  17.0   NaN  89

4   6  40.0  53.0  60.0  70



In [8]: data.dropna(thresh=2)

Out[8]: 

    0     1     2     3   4

0  32  38.0  11.0  69.0  34

1  59   NaN   NaN   NaN  62

2  14  79.0   NaN   NaN  78

3  77  76.0  17.0   NaN  89

4   6  40.0  53.0  60.0  70



In [9]: data.dropna(thresh=3)

Out[9]: 

    0     1     2     3   4

0  32  38.0  11.0  69.0  34

2  14  79.0   NaN   NaN  78

3  77  76.0  17.0   NaN  89

4   6  40.0  53.0  60.0  70

填充缺失

用指定的值去填充
在这里插入图片描述

用其他值去填充，这里可以设置填充方向和填充方法，b开头的是向后，其他是向前填充；这里limit是限制一个数填充的次数，1表示一个数只能填充一个位置
在这里插入图片描述

层级索引

是指这种多层级的索引
在这里插入图片描述

创建层级数据框
隐式创建，即直接写，索引变成两个数组，这样创建出来的索引就是多层的索引
在这里插入图片描述

同理，series也可以创建多层索引
在这里插入图片描述

显式构造pd.MultiIndex，这种和上种基本一致
在这里插入图片描述

使用元祖tuple
在这里插入图片描述

使用product，即乘积的方式，相对方便，但是也要看情况使用，比如这里两个班的学生名字都一样明显不太合适
在这里插入图片描述

多层索引对象的索引或切片操作

原则：当有多层索引的时候，不能直接使用内层索引
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

切片只能切外层的索引，如果要切出想要的结果，可以使用iloc进行切片
在这里插入图片描述

对列索引同样的道理，也不能直接切内层，可以使用隐式索引

在改变其中数据的时候，直接该在这里插入图片描述

先将int类型修改为float类型，再修改
在这里插入图片描述

这种可以直接改
在这里插入图片描述

索引的堆（stack）

索引的堆指的是 多层索引中行索引和列索引的转换
行着的索引变成竖着是stack，反之是unstack

这里看到有返回值，说明不会修改原数据

这里操作的是最里层，因为有个参数是level，默认是-1，就是最里层；
默认最外层是0，里面是1
在这里插入图片描述

在这里插入图片描述

如果加上level参数，转换后总是出现在最里层
在这里插入图片描述

在这里插入图片描述

聚合

在这里插入图片描述

在这里插入图片描述

多层聚合
在这里插入图片描述

将日期转化为可以运算的数据类型

在这里插入图片描述

在这里插入图片描述

将date 设置为行索引，keys为要设置为索引的列
在这里插入图片描述

重新将索引变成数据
在这里插入图片描述

拼接（级联和合并）

pd.concat 和 df.append 是级联操作
pd.merge 是合并操作

生成一个df的函数
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

不匹配级联，匹配的级联，不匹配的索引，补nan
在这里插入图片描述

在这里插入图片描述

左连接
在这里插入图片描述

右连接，保留df2的列
在这里插入图片描述

append

verify这个参数的意思是检查拼接的数据是否有重复，如果重复就报错了
在这里插入图片描述

在这里插入图片描述

合并merge

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

也可以用df调用
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

多对多，笛卡尔积
在这里插入图片描述

在这里插入图片描述

多个列相同，需要指定按照哪个列合并，并且另一个列合并以后会自动区分
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

内合并，默认是内合并
在这里插入图片描述

在这里插入图片描述

左右合并
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

补充知识点

query 应该很常用
在这里插入图片描述

删除数据中的行或者列，drop()
在这里插入图片描述
在这里插入图片描述

查看缺失数据的行（学会使用条件的这种写法）
在这里插入图片描述

在这里插入图片描述

这个警告的意思是说是对数据框df的一个部分进行赋值，但是内存里没有直接生成这个部分，所以赋值失败
在这里插入图片描述

所以需要将这个部分创造出来，再进行赋值
在这里插入图片描述

那么如何将赋值后的结果再重新给到数据框呢？
在这里插入图片描述

删除缺失数据
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

读取数据

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

从mysql中读取
在这里插入图片描述

从url中读取
在这里插入图片描述

重复数据检测

df.duplicated()
在这里插入图片描述

df.drop_duplicates()
在这里插入图片描述

或者直接用条件，采用逻辑符号写
在这里插入图片描述
在这里插入图片描述

keep= ‘last’，从后往前看
在这里插入图片描述

用subset定义在子集中查看
在这里插入图片描述

映射

在这里插入图片描述

replace替换函数

在这里插入图片描述

在这里插入图片描述

map函数

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

rename 替换索引

对于一个字典：
在这里插入图片描述

在这里插入图片描述

异常值判断

在这里插入图片描述
describe()
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

抽样

在这里插入图片描述

按照take中的顺序拿数据
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

用随机数和take结合实现又放回抽样
在这里插入图片描述

分组聚合

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

推荐先取值再聚合
在这里插入图片描述

将和的那一列追加到原列表中
在这里插入图片描述

练习
在这里插入图片描述

求白色的总价
在这里插入图片描述

在这里插入图片描述

合并到原数据中
在这里插入图片描述

添加前后缀
在这里插入图片描述

使用transform和apply实现

在这里插入图片描述

在这里插入图片描述

Zephyr丶J
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jdt.csv pandas分类学习
07-26
pandas学习 python学习 jdt.csv数据集
Pandas学习 – 基础
12-21
这个系列是跟着 Datawhale 的第二次学习，算是系统的学习一下 pandas 基础，然后会跟着教材梳理一下知识点。 # 导入所需模块 import pandas as pd import numpy as np 这里说明一下查看模块版本的语句，一般来说大...
pandas学习资料
07-09
pandas学习资料, 有需要的可以下载来看看，一起学习，一起进步
pandas库学习报告.docx
04-11
数据仓库~有关于pandas库的学习报告 小丸子帮大家总结到位了 希望可以帮助各位 点赞收藏哈！！！
学习Python之pandas
01-20
学习Python之pandas  通过《利用Python进行数据分析》这本书对pandas库进行入门。pandas是基于NumPy构建的，让以NumPy为中心的应用变得更加简单。书中后续部分使用这样的pandas约定：In [1]: from pandas import ...
基于JavaScript 如何实现爬山算法以及优化方案
乐闻世界
06-10 1356
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
2024.6.13刷题记录
最新发布
lshx4658的博客
06-14 428
当时没有想到怎么保证队内全都是窗口内的元素，答案：“当队头元素在窗口的左边的时候，弹出队头”，虽然不能保证队内一直没有窗口外的元素，但是能保证使用到的队内元素（队头）全是窗口内元素。当时是有想到这个方法的，但是以为不行，一下没转过来弯。队列储存索引而不是元素，通过储存索引使我们能够快速判断元素是否出窗口。不会，思路来自题解（
Java——简单图书管理系统
m0_74100417的博客
06-09 1510
数据类型变量iffor数组方法类和对象封装继承多态抽象类和接口今天就是把上述知识点全部都用起来 图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理系统图书管理
YesPMP探索Python在生活中的应用，助力提升开发效率
YesPMP20的博客
06-13 722
Python是一种简单易学、高效强大的编程语言，正变成越来越多人选择的热门技能。学习Python不仅可以提供更多就业机会，还能让自己在职场更加有竞争力，那可以去哪里拓展自己的技能呢？
Python | Leetcode Python题解之第149题直线上最多的点数
Mopes__的博客
06-14 396
Python | Leetcode Python题解之第149题直线上最多的点数
每日一题42：最小化字符串长度
m0_63227758的博客
06-14 336
创建集合s = set() # 创建一个空集合s = {1, 2, 3} # 创建一个包含元素 1, 2, 3 的集合s = set([1, 2, 3]) # 通过列表创建集合# 添加和删除元素s.add(4) # 向集合中添加元素 4s.remove(3) # 从集合中删除元素 3，如果元素不存在则会引发 KeyErrors.discard(2) # 从集合中删除元素 2，如果元素不存在也不会报错# 集合运算intersection = s1 & s2 # 交集。
paddleocr实验过程
mddCSDN的博客
06-11 372
切割后的数据在train_data中，注意切割后的数据前缀默认是当前目录，因此建议切割数据在liunx中进行。或者修改下面--datasetRootPath中的default。如果在Win中切割，放入liunx中训练。1、打开tmux窗口启动，这样断开连接后台可以继续训练。2、根据需求修改配置文件，如输出名称，数据集位置，注意暂时不要改吧epoch，训练容易报错。建议在liunx中指定。
深入理解Python多进程
这家伙很懒，什么都没有留下
06-12 703
本文深入介绍了Python多进程编程的基础概念、实现原理、使用方法以及实战案例。通过本文的学习，读者可以全面理解和掌握Python多进程编程的相关知识，并能够在实际项目中应用多进程技术来提高程序的执行效率。需要注意的是，虽然多进程技术能够带来性能上的提升，但也会带来一些额外的问题和复杂性，如进程间通信、进程同步等。因此，在使用多进程技术时，需要根据实际情况进行权衡和选择。
Python基础速成
weixin_74163644的博客
06-11 378
文件操作 文件读取 with open语法 文件写入 注意事项 文件追加 异常、模块与包 捕获异常 捕获方法 捕获传递 模块的导入与自定义 定义 导入方式 自定义 测试模块 注意事项 python包 定义 操作 第三方包 定义 pip指令安装包
Windows10下安装GPU环境Cuda和Pytorch教程图解
weixin_40547993的博客
06-12 1232
在深度学习和高性能计算领域，利用GPU进行计算已经成为提升效率的关键手段。CUDA是NVIDIA推出的并行计算平台和编程模型，它使得开发者能够利用NVIDIA GPU的强大计算能力。同时，PyTorch作为一个广泛使用的深度学习框架，以其易用性和灵活的动态计算图受到了研究人员和开发者的青睐。为了在Windows10系统上充分利用GPU进行深度学习训练，需要正确安装和配置CUDA和PyTorch。
Django UpdateView视图
人生苦短，何妨一试
06-11 404
UpdateView是Django中的一个通用视图，用于处理对象的更新操作。它允许用户更新一个已经存在的对象。UpdateView通常与一个模型表单一起使用，这样用户就可以看到当前对象的值，并可以修改它们。
【Java02】Java中数组的定义与初始化
饮冰室
06-10 552
推荐第一种方式。这种方式容易让人理解，数据类型是type[]，对象名称是arrayName。第二种方式有些老旧了。由于数组是一种引用变量（也就是一个指针），所以定义的时候还没有指向任何有效的内存空间，因此在定义数组的时候不能指定数组的长度，也不能直接使用。必须进行初始化。可以使用var让系统自动推断变量类型，既可以用于静态初始化，也可以用于动态初始化。
【2024最新华为OD-C/D卷试题汇总】[支持在线评测] CPU算力分配(100分) - 三语言AC题解(Python/Java/Cpp)
清隆学长的博客
06-11 324
### 问题描述 K小姐是某公司运营部门的主管,最近她需要对公司的两组服务器进行算力分配。每组服务器有多个算力不同的 $CPU$,其中 $A$ 组第 $i$ 个 $CPU$ 的运算能力为 $A[i]$,而 $B$ 组第 $i$ 个 $CPU$ 的运算能力为 $B[i]$。一组服务器的总算力是各 $CPU$ 的算力之和。 为了让两组服务器的算力相等,K小姐允许从每组各选出一个 $CPU$ 进行一次交换。她希望从 $A$ 组服务器中选出算力尽可能小的 $CPU$ 来交换,你能帮她计算出应该选择哪两个 $CP
DeepSORT（目标跟踪算法）中的计算观测值与状态估计的马氏距离
flyfish
06-10 786
flyfish在目标跟踪中，使用马氏距离可以帮助判断某个观测值是否与当前的状态估计一致。gating_distance 是一个方法，用于计算状态分布和观测值之间的门限距离（gating distance）。门限距离通常用于数据关联和验证测量值是否合理。提示用户可以从 chi2inv95 中获取适当的距离阈值。如果only_position 为 False，则使用4自由度的卡方分布，否则使用2自由度的卡方分布。
pandas学习路线
04-02
2. 安装pandas库：使用pip或conda等工具安装pandas库，并确保安装正确。 3. 学习pandas的数据结构：pandas主要提供了两种数据结构，即Series和DataFrame。了解它们的特点、创建方式和基本操作方法。 4. 数据导入与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值