介绍:t-SNE是一种高维数据可视化的一种算法,将高维数据嵌入到二维或三维空间中。
流形学习:假设数据是均匀采样于一个高维欧式空间的低维流形,流形学习就是在高维采样数据中恢复低维流形结构。即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数的简约或可视化。它是从观测到的现象中寻找事物的本质,找到产生数据的内在规律。
假设:尽管现实世界中的很多数据是嵌入在高维空间的,但是都具有很低的内在维度。也就是说高维数据经过降维后,在低维状态下能够显示其本质特性。
t-SNE使用教程
import numpy as np
import sklearn
from sklearn.manifold import TSNE
from sklearn.datasets import load_digits
# Random state.
RS = 20150101
import matplotlib.pyplot as plt
import matplotlib.patheffects as PathEffects
import matplotlib
# We import seaborn to make nice plots.
import seaborn as sns
sns.set_style('darkgrid')
sns.set_palette('muted')
sns.set_context("notebook", font_scale=1.5,
rc={"lines.linewidth": 2.5})
digits = load_digits()
# We first reorder the data points according to the handwritten numbers.
X = np.vstack([digits.data[digits.target==i]
for i in range(10)])
y = np.hstack([digits.target[digits.target==i]
for i in range(10)])
digits_proj = TSNE(random_state=RS).fit_transform(X)
def scatter(x, colors):
# We choose a color palette with seaborn.
palette = np.array(sns.color_palette("hls", 10))
# We create a scatter plot.
f = plt.figure(figsize=(8, 8))
ax = plt.subplot(aspect='equal')
sc = ax.scatter(x[:,0], x[:,1], lw=0, s=40,
c=palette[colors.astype(np.int)])
plt.xlim(-25, 25)
plt.ylim(-25, 25)
ax.axis('off')
ax.axis('tight')
# We add the labels for each digit.
txts = []
for i in range(10):
# Position of each label.
xtext, ytext = np.median(x[colors == i, :], axis=0)
txt = ax.text(xtext, ytext, str(i), fontsize=24)
txt.set_path_effects([
PathEffects.Stroke(linewidth=5, foreground="w"),
PathEffects.Normal()])
txts.append(txt)
return f, ax, sc, txts
scatter(digits_proj, y)
plt.savefig('digits_tsne-generated.png', dpi=120)
plt.show()
效果:
seaborn 是一种基于matplotlib图形可视化python包,提供了一种高度交互的界面,便于用户做出各种有吸引力的图表。