数据分析--pandas 处理结构化数据

最新推荐文章于 2024-07-05 19:57:36 发布
最新推荐文章于 2024-07-05 19:57:36 发布
阅读量2k 收藏 5
点赞数 1
分类专栏： 数据分析 python 文章标签： 数据分析 数据挖掘 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52007481/article/details/122466791
版权

pandas 处理结构化数据

基本数据结构

Series

类似于一维数组于字典的结合，是一个 有索引的一维数组。
values 一组数据（ndarray类型）
index 相关数据索引标签 用来显示索引 显示索引可以增加Series的可读性

  • Series对象的创建
    索引可以选择性的输入
    左侧为索引，右侧为值在这里插入图片描述
    通过字典创建Series对象
    在这里插入图片描述

  • Series对象的访问
    通过iloc函数和loc函数直接访问，
    通过类似于数组和属性的方式进行访问
    在这里插入图片描述

  • Series对象的操作
    NumPy对ndarray对象进行的操作，对Series对象同同样可以。由于有索引的存在，在操作中存在索引对其的问题

  • Series对象的属性
    索引 index
    值 values

DataFrame

DataFrrame是一个表格型的数据结构，DataFrame由按一定顺序排列的多列数据组成，设计初衷是将Series的使用场景从一维拓展到多维，DataFrame既有行索引，也有列索引

  • 行索引：index
  • 列索引：columns
  • 值 values
  • DataFrame的创建
  • 创建DataFrame对象时可以接受多种输入包括一维的ndarray对象、列表、字典、Series对象的字典，二维的ndarray对象、Series对象，或者其他DataFrame，行索引，列索引可以通过index、columns参数指定，若没有名确的给出，则会设置默认值

    • 通过值为列表的字典进创建DataFrame
      在这里插入图片描述

    • 使用columns参数指定为列索引
      在这里插入图片描述

    • DataFrame对象的columns、index、values属性
      在这里插入图片描述

    • 通过值为Series对象的字典创建DataFrame对象
      每一个Series为一列，
      若不指定index。则所有Series对象的index属性的并集作为DataFrame的index。若某一个Series种不存在对应的index则赋值NaN；
      若指定index，则会与指定索引相匹配，不能匹配的索引对应的值被标记为NaN
      在这里插入图片描述
      在这里插入图片描述

  • 通过元素为字典的列表创建DataFrame对象
    每一个字典作为一列，键作为列名，键不存在色值设为NaN，若不指定index。则index为默认值
    在这里插入图片描述
  • 通过Series对象创建DataFrame对象
    一个Series一列，name为其列名
    在这里插入图片描述

DataFrame对象的访问

  • iloc 通过隐式索引取行
  • loc通过显示索引取行
    在这里插入图片描述
    直接通过列索引对DataFrame对象进行操作

直接取指定元素，第一个参数为行，第二个参数为列
在这里插入图片描述
切片
在这里插入图片描述
删除操作

#　drop操作 对行或列进行删除操作，默认axis=0，表示对行进行操作，axis=1 表示对列进行操作，是否改变原数据根据inplace的参数，True或False
df = pd.DataFrame(np.random.randn(4,5),columns=list('ABCDE'),index=range(1,5))
df
df.drop(['A'],axis=1)  # 删除第一列，不改变原数据
df.drop(['A'],axis=1,inplace=True)    # 删除第一列，改变原数据

# del操作，对列进行删除操作
del df['B']
# pop操作，进行删除列的操作，并以Series对象返回被删除的列
column_B = df.pop('B')

基于pandas的index对象访问操作

pandas的index对象包括Series的index和DataFrame的index和columns

pandas的index对象

pandas中的Index对象负责管理轴标签和其他元素
Index对象的特性：不可修改性，有序性，可切片
不可修改性，能够保证在多个数据结构间的安全共享

索引的不同访问方式

调用方式
  • loc函数 显示索引
    loc的访问方式是基于标签(label)的，包括行标签(index)，列表签(columns),
    表达式df.loc[index._argument<,col_argument>],首先是选择行，列可以省略
    输入的参数可以是，单个标签，标签数组，或者标签的分片形式，布尔值组、接受参数为调用loc函数的对象的回调函数
  • iloc函数方式 隐式索引
    iloc关注的是index的位置，用法和loc类似
    输入的参数可以是单个整数，数组，位置的切片，布尔值数组接受参数为调用loc函数的对象的回调函数
  • 类似字典方式的访问
    可以直接将Series对象和DataFrame对象看作一个字典，而DataFarme对象相当于每一个元素都是Series对象的字典，所以可以用类似访问字典的方法进行访问
  • 类似访问属性的方式
    接受的参数类型有 单个变量、数组、布尔值类型数组或者回调函数
调用方式间的区别
  • loc函数与iloc函数的区别
    都是对index的访问
    loc接受的是Index对象（index和columns）的标签 显示
    iloc结束的是Index对象（index和columns）的位置 隐式
  • 通过loc函数和通过切片操作[]访问的区别
    loc和切片操作都是基于标签的索引
    loc函数首先对行标签（index）进行访问
    切片操作是先对列标签(columns)的访问
    两者在Series中没有差别
特殊参数类型
  • 输入为布尔类型数组
  • 输入为回调函数

数学统计和计算工具

统计函数，协方差、相关系数、排序

协方差协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

  • cov函数：计算协方差，可以计算Series对象和另一个Series对象的协方差
    在这里插入图片描述

  • DataFrame提供的cov函数，可以计算DataFrame对象各个列之间的协方差，得到一个协方差矩阵，当DataFrame对象中出现NaN，函数会排除它继续进行计算

  • 协方差矩阵是一个对称矩阵
    在这里插入图片描述
    有个空值得情况
    在这里插入图片描述

  • 相关系数

  • 皮尔森相关系数

  • 斯皮尔曼相关系数

  • 肯德尔相关系数

窗口函数

  • Rolling对象
    产生的是定长的窗口，需要通过参数window指定窗口大小，
    通过参数指定窗口最小非NaN值的个数
  • Expanding对象
    产生的是扩展窗口，第i个窗口的大小为i，可以将其看做特殊的window为数据长度、min_periods为1的Rolling对象·
  • EWM对象
    产生的是加权窗口，其中需要定义衰减因子a
    有很多定义衰减因子的方法。时间间隔、质心、指数权重减少到一半需要的时间，或者直接定义

数学聚合和分组运算

group by 包括三个阶段，

  • split阶段，通过一些原则将数据分组
  • apply阶段 每一个分组分别执行一个函数，产生一个新值
  • combine阶段 将各组的结果合并并分配到最终对象

agg函数的聚合操作

通过使用GroupBy对象的agg函数实现自定义函数，
在这里插入图片描述
通过agg函数还可以实现一次性应用多个函数，
在这里插入图片描述
通过agg函数还可以实现对不同列使用不同的函数
在这里插入图片描述

transform函数的转换操作

将一个函数应用到每一个分组内，返回的结果长度和宽度和原来的数据长度相同，而不是每一个组只有一个结果
如果该函数作用于每一个组，计算得到的是一个标量，则它会被广播出去，使每一个组的成员得到相同的值
在这里插入图片描述
transform函数的自定义函数
在这里插入图片描述

apply函数的一般操作

agg函数和transform函可以通过某些约束自定定义函数对GroupBy对象进行操作，有些 操作不符合这两类的约束，
apply函数将数据对象分成多个组，然后对每个组调用传入的函数，最后将其组合到一起
在这里插入图片描述

小鱼干儿♛
关注
专栏目录
【Python】Pandas基础：结构化数据处理
09-17 2470
Pandas是数据分析工作的首选库。它含有使数据分析工作变得更快更简单的高级数据结构和操作工具。 Pandas是基于Numpy构建的让以Numpy为中心的应用变得更加简单。
Pandas 结构化数据（上）
Nautilus for sailing
04-07 494
一Series 二DataFrame 三数据观察 四选择切片 通过标签选择 通过位置进行选择 布尔索引 五赋值 六缺省项载入需要的包：import pandas as pd import numpy as np import matplotlib.pyplot as plt一、SeriesSeries 是一个一维类数组对象，包含一列数据与与其关联的一列数据标签，数据标签即为数据的序列。创建一个 Se
数据结构化与保存
weixin_30520015的博客
04-16 113
1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pandas.DataFrame(newstotal)，创建一个Da...
十个Pandas高效数据处理与分析应用实例（收藏版）
最新发布
全糖冲击的博客
07-05 1161
Pandas是Python编程语言中的一个开源数据分析和数据处理库。它提供了数据结构和数据操作工具，专为处理数表或异构数据设计。Pandas的核心数据结构是DataFrame和Series，这使得数据处理变得非常直观和高效。
不讲废话，全程硬核，处理结构化数据的终极解决方案
JavaEdge全是干货的技术号
04-26 3802
现代Java应用架构越来越强调数据存储和处理分离，以获得更好的可维护性、可扩展性以及可移植性，比如火热的微服务就是一种典型。这种架构通常要求业务逻辑要在Java程序中实现，而不是像传统应用架构中放在数据库中。 应用中的业务逻辑大都会涉及结构化数据处理。数据库（SQL）中对这类任务有较丰富的支持，可以相对简易地实现业务逻辑。但Java却一直缺乏这类基础支持，导致用Java实现业务逻辑非常繁琐低效。结果，虽然架构上有各种优势，但开发效率却反而大幅下降了。 如果我们在Java中也提供有一套完整的结构化数据处理和计
Spark SQL 结构化数据处理流程及原理是什么？
技术专家
05-25 376
Spark SQL 结构化数据处理流程及原理是什么？Spark SQL 可以使用现有的 Hive 元存储、SerDes 和 UDF。它可以使用 JDBC/ODBC 连接到现有的 BI 工具。有了 Spark SQL，用户可以编写 SQL 风格的查询。 Spark SQL 是 Spark 生态系统中处理结构化格式数据的模块。它在内部使用 Spark Core API 进行处理，但对用户的使用进行了抽象。这篇文章深入浅出地告诉你 Spark SQL 3.x 的新内容。 这对于精通结构化查询语言或 SQL 的
大数据分析---Pandas使用
10-09
DataFrame是Pandas中的另一个核心数据结构，它是一个二维的标签化数据结构，可以看作是一个表格，具有行和列的概念。在实际应用中，DataFrame比Series应用更为广泛。 Pandas在处理数据时会将缺失值表示为NaN（Not a...
数据建模与分析-NumPy和Pandas的综合应用
03-07
"数据建模与分析-numpy与pandas的综合应用.ipynb"可能是一个Jupyter Notebook文件，通常用来展示如何使用NumPy和Pandas进行实际的数据分析项目。在这个项目中，可能会涵盖以下内容： 1. 数据导入：使用Pandas的`...
数据分析处理库-Pandas.zip
06-24
总的来说，Pandas是Python中不可或缺的数据分析工具，无论是在数据清洗、预处理、分析还是可视化方面，都提供了丰富的功能，使得数据处理工作变得更为高效和便捷。通过深入学习和掌握Pandas，可以极大地提升数据工作...
Python-Pandas：Pandas数据处理笔记本
02-18
3. **数据预处理**：在数据分析之前，通常需要进行数据预处理，包括缺失值处理（`fillna()`, `dropna()`)、异常值检测与处理、数据类型转换（`astype()`)、数据清洗等。 4. **数据筛选与切片**：使用布尔索引或`....
【跟着Head First学Python】3、结构化数据：处理结构化数据
四轩茶屋
06-09 1391
上一章我们介绍了python中的列表，本章介绍其余三种数据结构：字典、集合和元组。 1、字典 字典有两个特点：其一，字典是由大括号{}包围的；其二，字典的每一个元素的模式都是“键：值”，而不是“键=值”，两个元素之间用逗号，隔开。 注意，字典初始化的顺序不会保持，在初始化后，再次查看字典时，元素顺序可能变化。 一般访问字典的数据时，使用中括号记法，中括号中是键，使用键来访问其关联的数据值。...
不讲废话，全程硬核，处理结构化数据的终极解决方案_结构化处理数据
2301_76379606的博客
04-18 961
普通的Lambda语法不仅要指明表达式（即函数形式的参数），还必须完整地定义表达式本身的参数，否则在数学形式上不够严密，这就让Lambda语法很繁琐。在序表的基础上，SPL提供了丰富的结构化数据计算函数，比如过滤、排序、分组、去重、改名、计算列、关联、子查询、集合计算、有序计算等。是离散性和集合化的典型结合产物，成员的次序在集合中才有意义，这要求集合化，有序计算时又要将每个成员与相邻成员区分开，会强调离散性。大量功能强大的结构化数据计算函数，这本来是一件好事，但这会让相似功能的函数不容易区分。
TensorFlow从1到2（六）结构化数据预处理和心脏病预测
weixin_33835690的博客
04-22 1526
结构化数据的预处理 前面所展示的一些示例已经很让人兴奋。但从总体看，数据类型还是比较单一的，比如图片，比如文本。 这个单一并非指数据的类型单一，而是指数据组成的每一部分，在模型中对于结果预测的影响基本是一致的。 更通俗一点说，比如在手写数字识别的案例中，图片坐标(10,10)的点、(14,14)的点、(20,20)的点，对于最终的识别结果的影响，基本是同一个维度。 再比如在影评中，第10个单词、...
树型数据结构化处理
荔枝吖阿
01-14 350
有时候后台返回的数据需要自己处理，例：如下数据， let data = [{ id: 1, title: '飞蛾扑火', pid: 0 }, { id: 2, title: '你就像一只扑火的飞蛾', pid: 1 }, { id: 3, titl
中文文本数据结构化处理实例
z2539329562的博客
03-29 7961
import jieba import gensim from gensim import corpora from gensim.matutils import corpus2dense f = open("背影.txt", "r+") #选取文档为中文的《背影》，将文档放在当前目录下 text1 = f.readlines() #读取文件，按行读取，存入列表 read = ...
【Power BI】数据可视化：使用 Power BI 处理结构化复杂表单数据 | 文末送书
我在山城重庆，我希望能为这片软件沙漠地带贡献自己的一滴水，Stay tuned!
08-13 7504
数据处理是数据分析的奠基石，只有使用处理干净的数据，分析才会产生价值。简单而言，数据处理的终极目的是将非结构化数据转换为结构化数据。虽然数据处理自身未必直接产生数据价值，但其过程往往相当耗时，因此如果无法高效完成数据整理任务，必将影响最终的数据分析进程。通过本文内容的学习能帮助大家进一步提高数据整理的能力和效率，达到事半功倍的效果。无论你在使用 Excel 或 Power BI，都可以用本文讲解的技巧。在本文中，我们深入探讨了如何使用 Power BI 处理结构化复杂表单数据的方法。
Python队列Queue详解，超详细
热门推荐
小鱼干儿的博客
07-08 5万+
python队列实现与用法，queue块是Python内置的标准模块，模块实现了三种类型的队列，它们的区别仅仅是条目取回的顺序，分别由3个类进行表示，Queue，LifoQueue，PriorityQueue先进先出队列
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小鱼干儿♛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值