数据分析-Pandas的Andrews曲线可视化解读

数据分析-Pandas的Andrews曲线可视化解读

数据分析和处理中,难免会遇到各种数据,那么数据呈现怎样的规律呢?不管金融数据,风控数据,营销数据等等,莫不如此。如何通过图示展示数据的规律?

数据表,时间序列数据在数据分析建模中很常见,例如天气预报,空气状态监测,股票交易等金融场景。数据分析过程中重新调整,重塑数据表是很重要的技巧,此处选择Titanic数据,以及巴黎、伦敦欧洲城市空气质量监测 N O 2 NO_2 NO2数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

本文用到的样例数据:

Titanic数据

空气质量监测 N O 2 NO_2 NO2数据

样例代码:

源代码参考 Pandas如何重塑数据表

源代码参考 python数据分析-数据表读写到pandas

导入关键模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

plt.close("all")

在pandas数据分析中,了解观察多维数据的分布规律是非常重要的。各个维度数据的分布、度量通常用来直观描述数据集的分类位置,作为进一步探查分析的方向。

Andrews Curves 是一种用于可视化多元数据的图形表示方法,它通过将每个观测值转换为一个曲线来展示数据集中的模式。Andrews Curves 最初由 B.W. Andrews 在 1972 年提出,是一种基于函数型数据分析的方法。

Andrews 曲线,是基于余弦级数的傅里叶级数表示法,在这种表示法中,任意的函数都可以表示为一系列余弦函数的线性组合,就是余弦级数的展开,每个函数的振幅和波长都是不同的。常用于信号处理技术。

Andrews Curves 的详细技术解读:

  1. 原理

    Andrews Curves 的基本原理是将多维数据降维到二维空间,通过绘制曲线来展示数据的特征。具体而言,它利用傅里叶级数(Fourier series)将多维数据转化为一系列正弦和余弦函数的组合,从而生成具有独特形状的曲线。这些曲线的形状反映了数据集的内在结构和类别信息。

  2. 数据

    在使用 Andrews Curves 之前,需要准备一组多维数据集。这些数据集可以是不同的类别、组或条件下的观测值。每个数据集都应包含相同数量的观测值,并且每个观测值都应具有相同数量的特征。

  3. 曲线生成

    对于每个数据集,Andrews Curves 算法会计算其傅里叶级数展开式。这个过程涉及到对数据的标准化、傅里叶变换和系数计算等步骤。最终,每个数据集都会被表示为一条曲线,曲线的形状由数据集的内在结构决定。

    具体步骤,假设我们有N个样本,每个样本有d个特征,那么我们可以用如下的公式来表示每个样本的Andrews 曲线:

    F i ( t ) = 1 2 ∑ k = 1 d w i k sin ⁡ ( k t ) + b i F_i(t) = \frac{1}{\sqrt{2}} \sum_{k=1}^{d} w_{ik} \sin(k t) + b_i Fi(t)=2 1k=1dwiksin(kt)+bi

    其中,i是样本的编号,从1到N,t是时间参数,$ w_{ik} $ 和 $ b_i $ 分别表示第 i 个样本的第k个特征的权重和偏移。将这个公式应用于每个样本,就可以得到N条Andrews曲线,每条曲线表示一个样本。

Andrews曲线图画法

pandas画 平行坐标图方法最简单,只要一句语句搞定。相当于雷达图在一条直线上展开。

直接使用 Dataframe,parallel_coordinates函数即可。

from pandas.plotting import andrews_curves

data = pd.read_csv("data/iris.csv")
plt.figure();
andrews_curves(data, "Name");

plt.show()
plt.close("all")

在这里插入图片描述

通过观察整个曲线集合,可以发现相似样本和异常值。Andrews曲线的可视化效果非常好,不仅可以方便的观察多个特征之间的关系,还能够将多个样本之间的差异可视化出来。

Andrews曲线解读

Andrews Curves 是一种用于可视化和比较多个数据集或类别的统计图形工具。这些曲线通过将多维数据映射到二维空间中,使得我们可以直观地观察到不同数据集或类别之间的相似性和差异性。

Andrews Curves 的坐标轴通常不直接表示具体的数值,而是表示时间或序列位置。每个观测值(例如,一个样本或一个数据点)都被映射到一个曲线,这个曲线在横轴(通常是时间或序列位置)上展示了一系列纵坐标值。这些纵坐标值是通过某种函数转换原始数据得到的,通常是基于某种基函数(如傅里叶级数)的系数。

通过将不同数据集的曲线绘制在同一个坐标系中,我们可以直观地比较它们之间的相似性和差异性。如果两条曲线形状相似,意味着它们所代表的数据集在结构上具有较高的相似性;反之,如果曲线形状差异较大,则表明数据集之间存在明显的差异。

解读方法:

  1. 形状识别:观察不同曲线之间的形状差异。相似的形状可能意味着对应的观测值在原始特征空间中有相似的模式或结构。
  2. 聚类分析:通过识别形状相似的曲线,可以对观测值进行聚类。这有助于发现数据集中的潜在结构或类别。
  3. 异常值检测:与其他曲线显著不同的曲线可能表示异常值或离群点。这些观测值在原始特征空间中可能具有与其他观测值显著不同的特征。
  4. 趋势分析:通过观察曲线的变化趋势,可以分析数据集中的整体趋势或周期性模式。例如,如果曲线呈现出周期性变化,这可能意味着原始数据中存在某种周期性结构。

应用场景

Andrews Curves 适用于多种场景,如模式识别、分类和聚类等。在模式识别中,它可以帮助我们识别不同类别之间的差异;在分类任务中,我们可以使用 Andrews Curves 来展示不同类别的特征分布;在聚类分析中,我们可以通过比较聚类结果的 Andrews Curves 来评估聚类的质量。

优缺点

Andrews Curves 的优点在于它可以直观地展示多维数据的结构和类别信息,并且具有较好的可视化效果。然而,它也有一些缺点。

首先,Andrews Curves 对于数据的维度和数量有一定的限制,过高的维度或过多的数据可能导致计算量大增,影响曲线的生成速度。

其次,Andrews Curves 在某些情况下可能无法充分揭示数据的复杂性和差异性,需要结合其他统计方法进行分析。

总之,Andrews Curves 是一种有效的可视化工具,它可以帮助我们直观地比较和分析多维数据集之间的相似性和差异性。通过合理地应用这种方法,我们可以更好地理解和挖掘数据的内在结构,为模式识别、分类和聚类等任务提供有力支持。

注意事项:

  • Andrews Curves 的解释可能受到所选基函数的影响。不同的基函数可能会产生不同的曲线形状,从而影响对数据集的解读。
  • Andrews Curves 主要用于可视化高维数据。当数据维度非常高时,传统的散点图等方法可能无法有效地展示数据中的模式,而 Andrews Curves 通过将每个观测值映射为一个曲线来克服这个问题。
  • 由于 Andrews Curves 是基于函数型数据分析的方法,因此在解释时需要考虑到函数的性质和特征。

总之,Andrews Curves 是一种强大的可视化工具,能够直观地展示高维数据中的模式和结构。通过识别曲线的形状、聚类和趋势等信息,可以更好地理解数据集并发现其中的潜在规律。

以上代码只是一个简单示例,示例代码中的表达式可以根据实际问题进行修改。

后面介绍下其他的展示形式。

觉得有用 收藏 收藏 收藏

点个赞 点个赞 点个赞

End

GPT专栏文章:

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-LangChain + ChatGLM3构建天气查询助手

大模型查询工具助手之股票免费查询接口

GPT实战系列-简单聊聊LangChain

GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(一)

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-Baichuan2等大模型的计算精度与量化

GPT实战系列-GPT训练的Pretraining,SFT,Reward Modeling,RLHF

GPT实战系列-探究GPT等大模型的文本生成-CSDN博客

  • 42
    点赞
  • 49
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
数据分析与可化一直是数据科学领域中最重要的部分之一。Jupyter作为一个开源的交互式计算环境,可实现数据采集、数据分析和可化,且易于学习和使用。在这里,我们演示一个基于Jupyter的数据采集-数据分析-可化综合案例。 首先,我们需要采集数据。我们可以通过使用Python的requests库来访问网站,并使用BeautifulSoup库提取所需数据。例如,我们可以采集电影评分网站IMDb的电影评分数据。 接下来,我们需要进行数据清洗和预处理。我们可以使用Python的pandas库来清理和加工数据。例如,我们可以删除缺失值、重复值和异常值,并将数据类型转换为适合分析和可化的格式。 在数据预处理后,我们可以开始进行数据分析。我们可以使用Python的numpy、matplotlib和seaborn库等,在Jupyter中进行数据分析。例如,我们可以绘制电影的得分分布、类别分布和年份分布图表等。 最后,我们可以开始进行可化。我们可以使用Python的plotly和bokeh库等,实现交互式数据可化。例如,我们可以制作热力图、地图和动态图等,并将它们添加到Jupyter Notebook中,使者可以与之交互。 综上所述,Jupyter是一个功能强大、易于学习和使用的数据采集-数据分析-可化综合工具。通过基于Jupyter的数据分析和可化,我们可以更好地理解和解释数据,更好地进行决策和规划。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alex_StarSky

你的鼓励是创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值