pandas学习

最新推荐文章于 2024-05-17 18:09:22 发布
最新推荐文章于 2024-05-17 18:09:22 发布
阅读量918 收藏 21
点赞数 22
文章标签： pandas 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73708511/article/details/135320519
版权

pandas学习-Series-01

文章目录

什么是pandas

pandas是一个数据处理的python 包，无论是数据分析，还是数据科学都离不开pandas

  • 主要还是处理结构化的数据
  • 数据清理
  • 数据合并，整合多个不同的数据源转换输出一个
  • 数据分析
  • 读取多种结构的数据

为什么要用pandas

虽然我们已经有了Excel和SQL这两种强大的数据处理工具，但Pandas在Python生态系统中提供了以下优势，使得它在许多数据分析场景下成为理想的选择：

  • Pandas具有高度灵活和可扩展的API，支持复杂的数据清洗、转换、分析流程，并且这些流程可以通过编写脚本或程序的形式自动化执行，大大提高了工作效率。
  • Pandas可以方便地读取和写入各种数据格式，包括CSV、Excel、SQL数据库、JSON、HDF5等，以及直接从Web API获取数据，这使其成为一个统一的数据接口层。
  • 在Python的机器学习和数据科学领域，Pandas是Scikit-learn、TensorFlow、PyTorch等框架广泛使用的底层数据结构，可以直接将预处理后的Pandas DataFrame传递给模型训练。

pandas的两种数据结构

series 结构

它是一个一维数组对象，可以存储任何数据类型（整数、浮点数、字符串、Python对象等）的数据。每个元素在Series中都有一个对应的标签（index），类似于有序字典或带有标签的一维数组。

image-20231226224115698

dataframe 结构

dataFrame是Pandas更复杂也更常用的数据结构，它可以看作由多个Series组成的二维表格型数据结构，每一列都是一个Series，所有Series共享同一个行索引。dataFrame允许每列的数据类型不同，非常适合处理具有混合类型的结构化数据。

image-20231226223948730

Series学习

下面我将用一个具体的列子来说明series的一些用法，学习series的一些基本用法

前提：

  • 已经完成pandas、juputer notebook的安装

背景：

我们有以下部分手机的价格，现在我们要基于以下数据来进行一些数据处理工作。

手机名称价格（人民币
OnePlus 11 Pro Max4999
Xiaomi Mi 14 Ultra5499
Samsung Galaxy S23 Ultra7999
Apple iPhone 15 Pro Max8999
Google Pixel 8 Pro8999
Huawei Mate 60 Pro+6999
Vivo X90 Pro+6499
Oppo Find X6 Pro5999
Realme GT Neo5 Ultimate Edition5699
Lenovo Legion Y90 Gaming Phone3999

Series的创建:

1.我们如何用以上数据读入pandas,并存储为 series格式？

import  pandas as pd  

s=pd.Series([4999,5499,7999,8999,8999,6999,6499,5999,5699,3999],
            index=['OnePlus 11 Pro Max','Xiaomi Mi 14 Ultra','Samsung Galaxy S23 Ultra','Apple iPhone 15 Pro Max','Google Pixel 8 Pro','Huawei Mate 60 Pro+','Vivo X90 Pro+','Oppo Find X6 Pro','Realme GT Neo5 Ultimate Edition','Lenovo Legion Y90 Gaming Phone']
            ,name='phone_price')
s

输出：

image-20231231175117077

通过上述举例我们创建一个series，下面就Series的创建进行学习 。

import pandas as pd
pd.Series(data, index, dtype,name="A name")

从上面的语法我们可以看出 Series主要有三部分组成

  • data: 我们从上面的图可以知道Series就相当于一维数组，所以 data就是我们的值,这儿需要注意一点的是 这个data是强类型的，所以data中存储的数据类型建议一致，不一致，pandas会根据我们的值自动推断dtype ,但这个推断动作肯定有代价的！
  • index:就是我们每个值的标签，我们可以通过标签去引用data中的值，当我们不指定时候，pandas会创建默认的序列。
  • dtype: 这也是一个可选参数，用于指定 series中的data中的数据类型，如果我们不指定，pandas也会自动推断其数据类型（我们在上面列子就没有指定）
  • name:可以先简单的看成是Series的列名，当然name也可以不指定。

image-20231228224606701

空的 series

import pandas as pd 
s1 = pd.Series(dtype='float64')  # 创建一个空的浮点型 Series
s2=pd.Series()  #报警提示  FutureWarning: The default dtype for empty Series will be 'object' instead of 'float64' in a future version. Specify a dtype explicitly to silence this warning.

s2.info # <bound method Series.info of Series([], dtype: float64)>

注意：创建空的series指定时候，建议指定dtype否则会报警告，当然从上面的提示可知,在以后的pandas版本中，pandas生成空的series中会用 object替换到现在默认的float64

series的一些基本属性

一旦我们完成了series的创建，我们就可以获取series的一些基本属性

  • .values 获取series中的value值
  • .index 获取series中的index
  • .name 获取series的名字
  • .dtype 获取series 值的类型
  • .size series中值的个数。

image-20231231210600618

Series的筛选

Q: 我们如何查看Apple iPhone 15 Pro Max的价格？

A:

iphone_price=s.loc['Apple iPhone 15 Pro Max']
iphone_price

image-20231231180029481

知识引入：

其实series主要可以通过两种方式来筛选我们的数据，第一种是 index方式筛选，第二种就是位置筛选。

index方式筛选

主要是通过·loc[]来实现，我们上面的列子就是通过该种方式来实现，当然我们以可以直接通过s['Apple iPhone 15 Pro Max']

来解决上面的问题，但是我们还是更加推荐.loc[]的方式。

那是因为`[]`这种直接使用很容易造成混乱，series中还好，但如果是dataFrame,直接使用 [] 进行行选择可能会由于隐式行为导致意外的结果。

位置筛选

位置筛选主要通过iloc[]来实现，之所以可以采取这种方式，那是因为series是有序的。当然这里的位置起始也与数组一样从零开始的

比方说，我们获取上述表格第1个手机的价格

number_1_price=s.iloc[0]
number_1_price

image-20231231182339100

当然，无论是loc[]方式，还是 iloc[]方式其实都支持多个选择的。

phones=s.loc[['Apple iPhone 15 Pro Max','Huawei Mate 60 Pro+']]
phones

image-20231231183132970

这儿要注意的是，多重选择时候，loc里面是传入的数组.loc[[]]，而且返回的也是一个series类型

iloc当然也支持切片的方式。

phones2=s.iloc[1:3]
phones2

phones3=s.iloc[[1,4,6,8]]
phones3

image-20231231225502905

Series的常用方法

Q:如何获取最高的手机价格？最低价格？价格的平均数？价格排名前三的手机是那几个？

A-1: 最高手机价格，最低手机价格，价格的平均数

image-20231231184541690

A-2:价格排名前三的手机

image-20231231184923464

series中有一些非常有用的方法，通过这些方法我们可以很方便的进行数据分析，像比较常用的head() tail()

这两个方式认默认返回Series或DataFrame对象开头或结尾的5个元素（行），当然我们亦可以自定义要显示的行数，例如，series.head(3)将显示前三行。

​ 当然series也内置了一些统计类方法，通过这些统计类方法我们可以很容易进行数据分析。

  1. 基本统计量：

    • series.mean(): 计算Series所有非缺失值（NaN除外）的平均数。
    • series.median(): 计算Series所有非缺失值的中位数。
    • series.mode(): 返回Series中出现次数最多的元素及其频率（如果有多个，则返回所有）。
    • series.min(): 找到Series中的最小值。
    • series.max(): 找到Series中的最大值。
    • series.sum(): 计算Series所有非缺失值的总和。
    • series.std(): 计算Series所有非缺失值的标准差。
    • series.var(): 计算Series所有非缺失值的方差。

  2. 计数与唯一性：

    • series.count(): 返回Series中非缺失值的数量。
    • series.nunique(): 返回Series中不重复值的数量

  3. 排序相关：

  • series.sort_values(ascending=True): 对Series进行按值升序排列，默认为True；若设置为False，则降序排列。
    • series.sort_index(ascending=True):对 Series按照index升序排列，默认为True;若设置成False ,则降序排列。
    • series.idxmax(): 返回Series中最大值对应的index。
    • series.idxmin(): 返回Series中最小值对应的index。

我们也可以使用 series.describe() 来实现一个方法综合展示以下几个统计类信息，这个方法对于快速了解Series数据集的整体分布特征非常有用。

  1. count：非缺失值（不包括NaN）的数量。
  2. mean：所有非缺失值的平均数。
  3. std：所有非缺失值的标准差，衡量数据的离散程度。
  4. min：Series中的最小值。
  5. 25%、50%、75%：四分位数，分别代表数据分布中25%、50%和75%位置上的数值，其中50%即为中位数。
  6. max：Series中的最大值。

Q:如何获取价格最高的手机是哪个？价格最低的手机是哪个？

image-20231231213605797

Series 的算式运算

Q:现在双十二，所以手机都有折扣，都打八折，请问现在的手机价格是多少？那如果每个手机打折的力度不一样，又怎么用pandas实现？

A:

所有手机打八折，现在最新的价格：

image-20231231214200330

每种手机打折的力度不一样，实现：

s=pd.Series([4999,5499,7999,8999,8999,6999,6499,5999,5699,3999],
            index=['OnePlus 11 Pro Max','Xiaomi Mi 14 Ultra','Samsung Galaxy S23 Ultra','Apple iPhone 15 Pro Max','Google Pixel 8 Pro','Huawei Mate 60 Pro+','Vivo X90 Pro+','Oppo Find X6 Pro','Realme GT Neo5 Ultimate Edition','Lenovo Legion Y90 Gaming Phone'],name='phone_price')

sale=pd.Series([0.8,0.7,0.5,0.8,0.6,0.8,0.7,0.5,0.8,0.6],index=['OnePlus 11 Pro Max','Xiaomi Mi 14 Ultra','Samsung Galaxy S23 Ultra','Apple iPhone 15 Pro Max','Google Pixel 8 Pro','Huawei Mate 60 Pro+','Vivo X90 Pro+','Oppo Find X6 Pro','Realme GT Neo5 Ultimate Edition','Lenovo Legion Y90 Gaming Phone'],name='phone_sale')

phone_price=s*sale
phone_price

image-20231231214733120

知识扩展：

其实在Pandas的Series中，我们可以进行基本的算术运算，包括加法（+）、减法（-）、乘法（*）和除法（/）。这些运算可以是Series与Series之间的操作，也可以是Series与其他标量值（如整数、浮点数或Python数值类型）之间的运算。以下是基本的使用示例：

s1 = pd.Series([1, 2, 3, 4])  #不指定index 会生成 一个默认index [0,1,2,3] 
s2 = pd.Series([5, 6, 7, 8])  #不指定index 会生成 一个默认index [0,1,2,3] 
result_add = s1 + s2 # Series间的加法 
pd.Series.concat(s1,s2) # 等价于Series间的加法
result_subtract = s1 - s2 # Series间的减法
result_multiply = s1 * s2 #Series间的乘法
result_divide = s1 / s2 #Series间的除法
result_add_scalar = s1 + 1 #Series 加上一个常量
result_multiply_number=s1*0.11 #Series 乘上一个常量

当然，以上的举得列子太完美了，两个Series长度相同，索引也一样，我们都知道了会逐元素进行相应的运算，并返回一个新的Series,但当我们Series长度相同，索引也不一样，会怎么样呢？

image-20231231220409541

image-20231231220426679

image-20231231220907239

结论：只会对共享索引的位置进行计算，对于关联不上的索引会给一个默认空值（NaN）,当进行除法运算时，如果分母包含0值，会导致inf默认值的出现。

Series的变与不变

关于Series 的一些其他补充：

我们在上面以10种手机的价格为列，完成了 Series对象s的创建,并针对其进行了一系列的操作。但我们要强调一点，尽量不要去修改原有的Series，尽量保持原Series只读。我们针对 series 上的一些方法，跟加减乘除，其实并没有修改原来的Series 对象,而仅仅是生成了一个新的Series对象。

当然，我们通过一些方法，也是可以去修改原来的series对象 ，但这些方法我们基本不怎么使用。

  1. 更新series中的值
 s[index]=new_value
 s['Xiaomi Mi 14 Ultra']=2999
  1. 删除series中的值
del  s[index]
del s['Samsung Galaxy S23 Ultra']
山脚下的那只蠢蜗牛
关注
  • 22
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pandas学习资料
07-09
pandas学习资料, 有需要的可以下载来看看，一起学习，一起进步
Pandas 学习
ZgaoYi的博客
08-10 554
Pandas 学习
Pandas学习总结
weixin_52527244的博客
05-30 4770
介绍 Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。 知识点 数据类型 数据读取 数据选择 数据删减 数据填充 数据类型 Pandas 的数据类型主要有以下几种，它们分别是：Series（一维数组），DataFrame（二维数组），Panel（三维数组），Panel4D（四维数组），PanelND（更多维数组）。其中 Series 和
pandas学习心得
zyf2695421695的博客
07-02 4196
Pandas是基于Numpy的专业数据分析工具，可以灵活高效地处理各种数据集，包含两种类型的数据结构：DataFrame（表）和Series（列） 。 pandas：字典+列表 df = pd.DataFrame({'姓名':['张三','李四'],'年龄':['11','22']},index = ['分类1','分类2']) 可以通过改变columns,index和values的值来控制数据。不指定索引时，从0开始的数字索引。 1.内容预览：df.head() 默认前5行 df.tail(...
pandas学习笔记之Series
m0_73721001的博客
10-28 2511
如代码所示，可以直接对Series结构进行加减乘除运算符，当出现index不匹配的情况时会输出NaN。类似list，通过append方法能够在原Series上插入（追加）新的Series。若只在原Series上插入单个值，则采用赋值方式即可。数据切片的概念源于Numpy数组，Series对象使用类似NumPy中ndarray的数据访问方法实现切片操作。可以直接通过赋值的方法修改Series中的对应值。nunique()返回去重后的元素个数。unique()返回去重后的元素值。如果 data 是标量值，则。
Pandas学习笔记整理.pdf
03-06
Pandas学习笔记整理
Pandas学习笔记
11-06
学习pandas时整理的学习笔记，包括了很多Pandas里面的函数的用法，并且对Pandas的使用有一个整体的框架
pandas学习笔记
12-13
这事我自行编写的pandas入门学习笔记，基于jupyter 这事我自行编写的pandas入门学习笔记，基于jupyter
Pandas学习 – 基础
12-21
这个系列是跟着 Datawhale 的第二次学习，算是系统的学习一下 pandas 基础，然后会跟着教材梳理一下知识点。 # 导入所需模块 import pandas as pd import numpy as np 这里说明一下查看模块版本的语句，一般来说大...
FME学习之旅---day27
最新发布
summer_corner的博客
05-17 202
我们付出一些成本，时间的或者其他，最终总能收获一些什么。
使用多实例学习进行乳腺癌组织病理学图像分类和定位
qq_47896523的博客
05-16 1106
乳腺癌是女性最主要的死亡原因，病理学家根据病理切片中观察到的各种视觉特征（例如细胞核的形态特征、细胞核的微观和宏观结构等）做出决定。计算机辅助诊断（CAD）系统可以帮助病理学家自动做出决策。卷积神经网络是最广泛使用的深度学习框架，用于学习图像类别之间的复杂判别特征。多年来，VGG16 [3] 和 ResNet18 [4] 等各种 CNN 架构在海量 ImageNet 数据集上产生了出色的结果。CNN 被用于医学图像以产生最先进的结果。为图像中存在的所有类别提供了定位信息。
WEB转Flutter基础学习笔记（内含vue和flutter对比）
小易不止于搬砖的博客
05-17 684
笔者是一名web前端，记录在转栈flutter时的学习笔记，内涵和vue的对比，能够辅助前端同学更容易理解flutter
Page对象的学习
2301_77523055的博客
05-14 1008
ASP.NET允许开发者创建自定义控件和用户控件来扩展页面的功能。自定义控件是从现有的ASP.NET控件派生出来的新控件，而用户控件则是将多个控件组合成一个可重用的单元。这些控件可以像其他ASP.NET控件一样在页面上使用，并通过Page对象进行交互。Page_Init主要用于在控件加载之前进行初始化设置和添加事件处理程序。Page_Load主要用于处理页面回发和加载数据，以及执行其他需要在页面加载时完成的逻辑。由于Page_Init在Page_Load之前触发，因此在Page_Init。
学习kong官方文档
好好学习日记
05-17 277
当然，我会用更简洁的方式重新解释这两个概念：Helm和Kubectl是Kubernetes生态系统中常用的两个工具，它们各自有不同的用途：
推荐系统学习笔记（一）
weixin_44880995的博客
05-15 151
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。
RustGUI学习（iced/iced_aw）之扩展小部件（十九）：如何使用context_menu部件来创建右击菜单？
用沸腾的热血，支付我们的人生吧！
05-15 75
本专栏是学习Rust的GUI库iced的合集，将介绍iced涉及的各个小部件分别介绍，最后会汇总为一个总的程序。iced是RustGUI中比较强大的一个，目前处于发展中（即版本可能会改变），本专栏基于版本0.12.1.
DB类的学习
2301_77523055的博客
05-15 368
"不返回结果集" 意味着执行 SQL 语句后，你不会得到一个可以逐行读取的数据集。相反，你可能会得到一个表示受影响的行数的整数，或者只是一个表示命令是否成功执行的确认。
docker学习和常用命令
OutRoading的博客
05-14 191
镜像仓库datahub。
python pandas学习
08-09
Python pandas学习可以涉及以下内容： 1. 数据结构简介：DataFrame和Series，它们是pandas中最重要的两种数据结构。 2. 数据索引index，了解如何对数据进行索引，以便快速查找和筛选数据。 3. 利用pandas查询数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值