使用UMAP进行降维和可视化

在处理大数据集时，降维是最重要的方面之一，因为它有助于将数据转换为低维，以便我们能够识别一些重要的特征及其属性。它通常用于避免在分析大数据集时产生的维度问题。

当我们在进行数值分析或创建机器学习模型时，处理高维数据可能会很困难。使用高维数据集会导致高方差，并且模型不会被推广。如果我们降低维度，我们可以使机器学习模型更一般化，避免过度拟合。

UMAP是一个开源的Python库，可以帮助可视化降维。

在本文中，我们将探讨UMAP提供的一些功能。

让我们开始…

安装所需的库

我们将首先使用pip安装UMAP库。下面给出的命令可以做到这一点。

!pip install umap-learn

进口所需的库

在这一步中，我们将导入加载数据集和可视化降维所需的库。

import umap
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import pandas as pd
%matplotlib inline

加载数据集

对于本文，我们将使用从Github获取的Palmer Penguins数据集。

penguins = pd.read_csv("https://github.com/allisonhorst/palmerpenguins/raw/5b5891f01b52ae26ad8cb9755ec93672f49328a8/data/penguins_size.csv")
penguins.head()

加载数据集后，我们将开始删除空值，并使用UMAP创建一个reducer对象。这个reducer将用于降维，并进一步用于可视化。

penguins = penguins.dropna()
penguins.species_short.value_counts()
reducer = umap.UMAP()
penguin_data = penguins[
[
"culmen_length_mm",
"culmen_depth_mm",
"flipper_length_mm",
"body_mass_g",
]
].values
scaled_penguin_data = StandardScaler().fit_transform(penguin_data)
embedding = reducer.fit_transform(scaled_penguin_data)

降维可视化

在这一步中，我们将降维进行可视化。

plt.scatter(embedding[:, 0], embedding[:, 1], c=[sns.color_palette()[x] for x in penguins.species_short.map({"Adelie":0, "Chinstrap":1, "Gentoo":2})])
plt.gca().set_aspect('equal', 'datalim')
plt.title('UMAP projection of the Penguin dataset', fontsize=24)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jAdYRvGX-1628732161720)(1.png)]

只需要以上几步，我们就可以绘制出降维的图形，也可以尝试使用不同的数据集进行降维并使用UMAP绘图。

作者：Himanshu Sharma

只需要以上几步，我们就可以绘制出降维的图形，也可以尝试使用不同的数据集进行降维并使用UMAP绘图。

作者：Himanshu Sharma