分享一个朋友的人工智能教程。零基础!通俗易懂!风趣幽默!还带黄段子!大家可以看看是否对自己有帮助:点击打开
全栈工程师开发手册 (作者:栾鹏)
python数据挖掘系列教程
sklearn自带数据
sklearn自动了下面几种数据用于算法练习。
load_boston([return_X_y]) 加载波士顿房价数据;用于回归问题
load_iris([return_X_y]) 加载iris 数据集;用于分类问题
load_diabetes([return_X_y]) 加载糖尿病数据集;用于回归问题
load_digits([n_class, return_X_y]) 加载手写字符集;用于分类问题
load_linnerud([return_X_y]) 加载linnerud 数据集;用于多元回归问题
波士顿房价数据,回归使用。样本数据集的特征默认是一个(506, 13)大小的矩阵,样本值是一个包含506个数值的向量。
# 房价数据
from sklearn.datasets import load_boston
from sklearn import linear_model
boston = load_boston()
data=boston.data
target = boston.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)
iris花卉数据,分类使用。样本数据集的特征默认是一个(150, 4)大小的矩阵,样本值是一个包含150个类标号的向量,包含三种分类标号。
# 花卉数据
from sklearn.datasets import load_iris
from sklearn import svm
iris = load_iris()
data=iris.data
target = iris.target
print(data.shape)
print(target.shape)
print('svm模型:\n',svm.SVC().fit(data,target))
糖尿病数据集,回归使用。样本数据集的特征默认是一个(442, 10)大小的矩阵,样本值是一个包含442个数值的向量。
# 糖尿病数据集
from sklearn.datasets import load_diabetes
from sklearn import linear_model
diabetes = load_diabetes()
data=diabetes.data
target = diabetes.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)
手写体数据,分类使用。每个手写体数据使用8*8的矩阵存放。样本数据为(1797, 64)大小的数据集。
# # ===========手写体数据===========
from sklearn.datasets import load_digits
import matplotlib.pyplot as plt # 画图工具
digits = load_digits()
data=digits.data
print(data.shape)
plt.matshow(digits.images[3]) # 矩阵像素点的样式显示3
# plt.imshow(digits.images[3]) # 图片渐变的样式显示3
# plt.gray() # 图片显示为灰度模式
plt.show()
linnerud数据集,多元回归使用。样本数据集的特征默认是一个(20, 3)大小的矩阵,样本值也是(20, 3)大小的矩阵。也就是3种特征,有3个输出结果,所以系数矩阵w为(3, 3)
# # ===========多元回归===========
from sklearn.datasets import load_linnerud
from sklearn import linear_model
linnerud = load_linnerud()
data=linnerud.data
target = linnerud.target
print(data.shape)
print(target.shape)
print('系数矩阵:\n',linear_model.LinearRegression().fit(data,target).coef_)
加载样本图案
# 图像样本数据集
from sklearn.datasets import load_sample_image
import matplotlib.pyplot as plt # 画图工具
img=load_sample_image('flower.jpg') # 加载sk自带的花朵图案
plt.imshow(img)
plt.show()
生成自定义分类数据
sklearn.datasets.make_classification(n_samples=100, n_features=20, n_informative=2, n_redundant=2,
n_repeated=0, n_classes=2, n_clusters_per_class=2, weights=None,
flip_y=0.01, class_sep=1.0, hypercube=True,shift=0.0, scale=1.0,
shuffle=True, random_state=None)
通常用于分类算法。
n_features :特征个数= n_informative + n_redundant + n_repeated
n_informative:多信息特征的个数
n_redundant:冗余信息,informative特征的随机线性组合
n_repeated :重复信息,随机提取n_informative和n_redundant 特征
n_classes:分类类别
n_clusters_per_class :某一个类别是由几个cluster构成的
# # ===========生成分类样本数据集===========
from sklearn import datasets
import matplotlib.pyplot as plt # 画图工具
data,target=datasets.make_classification(n_samples=100, n_features=2, n_informative=2, n_redundant=0,n_repeated=0, n_classes=2, n_clusters_per_class=1)
print(data.shape)
print(target.shape)
plt.scatter(data[:,0],data[:,1],c=target)
plt.show()
这里生成的数据集图如下,由于每次生成的数据都不一样,所以读者看到的图片和这里也不一样的
其他生成分类样本的函数
make_blobs函数会根据用户指定的特征数量、中心点数量、范围等来生成几类数据,这些数据可用于测试聚类算法的效果。
其中:
n_samples是待生成的样本的总数。
n_features是每个样本的特征数。
centers表示类别数。
cluster_std表示每个类别的方差,例如我们希望生成2类数据,其中一类比另一类具有更大的方差,可以将cluster_std设置为[1.0,3.0]。
sklearn.datasets.make_gaussian_quantiles(mean=None, cov=1.0, n_samples=100, n_features=2, n_classes=3,
shuffle=True, random_state=None)
make_gaussian_quantiles函数利用高斯分位点区分不同数据
sklearn.datasets.make_hastie_10_2(n_samples=12000, random_state=None)
make_hastie_10_2函数利用Hastie算法,生成2分类数据
下面我们通过代码的比较一下这些样本数据的生成。
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.datasets import make_blobs
from sklearn.datasets import make_gaussian_quantiles
from sklearn.datasets import make_hastie_10_2
plt.figure(figsize=(10, 10))
plt.subplots_adjust(bottom=.05, top=.9, left=.05, right=.95)
plt.subplot(421)
plt.title("One informative feature, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=1,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(422)
plt.title("Two informative features, one cluster per class", fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(423)
plt.title("Two informative features, two clusters per class", fontsize='small')
X2, Y2 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2)
plt.scatter(X2[:, 0], X2[:, 1], marker='o', c=Y2)
plt.subplot(424)
plt.title("Multi-class, two informative features, one cluster",fontsize='small')
X1, Y1 = make_classification(n_samples=1000, n_features=2, n_redundant=0, n_informative=2,n_clusters_per_class=1, n_classes=3)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(425)
plt.title("Three blobs", fontsize='small')
# 1000个样本,2个属性,3种类别,方差分别为1.0,3.0,2.0
X1, Y1 = make_blobs(n_samples=1000, n_features=2, centers=3,cluster_std=[1.0,3.0,2.0])
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(426)
plt.title("Gaussian divided into four quantiles", fontsize='small')
X1, Y1 = make_gaussian_quantiles(n_samples=1000, n_features=2, n_classes=4)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.subplot(427)
plt.title("hastie data ", fontsize='small')
X1, Y1 = make_hastie_10_2(n_samples=1000)
plt.scatter(X1[:, 0], X1[:, 1], marker='o', c=Y1)
plt.show()
自定义生成圆形和月牙形分类数据
sklearn.datasets.make_circles(n_samples=100, shuffle=True, noise=None, random_state=None, factor=0.8)
生成环形数据
factor :外圈与内圈的尺度因子<1
sklearn.datasets.make_moons(n_samples=100, shuffle=True, noise=None, random_state=None)
生成半环形图
from sklearn.datasets import make_circles
from sklearn.datasets import make_moons
import matplotlib.pyplot as plt
fig = plt.figure(1)
x1, y1 = make_circles(n_samples=1000, factor=0.5, noise=0.1)
plt.subplot(121)
plt.title('make_circles function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)
plt.subplot(122)
x1, y1 = make_moons(n_samples=1000, noise=0.1)
plt.title('make_moons function example')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', c=y1)
plt.show()
自定义生成回归样本
from sklearn.datasets import make_regression