小白学数据:教你用Python实现简单监督学习算法

8人阅读 评论(0) 收藏 举报
分类:

转载自 小白学数据:教你用Python实现简单监督学习算法

今天,文摘菌想谈谈监督学习。


监督学习作为运用最广泛的机器学习方法,一直以来都是从数据挖掘信息的重要手段。即便是在无监督学习兴起的近日,监督学习也依旧是入门机器学习的钥匙。


这篇监督学习教程适用于刚入门机器学习的小白。


当然了,如果你已经熟练掌握监督学习,也不妨快速浏览这篇教程,检验一下自己的理解程度~


什么是监督学习?


在监督学习中,我们首先导入包含有训练属性和目标属性的数据集。监督学习算法会从数据集中学习得出训练样本和其目标变量之间的关系,然后将学习到的关系对新样本(未被标记的样本)进行分类。


为了阐明监督学习的工作原理,我们用根据学生学习时间预测其考试成绩的例子来说明。


用数学表示,即Y = f(X)+ C,其中

  • f表示学生学习时间和考试成绩之间的关系

  • X表示输入(学习小时数)

  • Y表示输出(考试分数)

  • C表示随机误差


监督学习算法的终极目标是给出新的输入X,使得预测结果Y的准确率最大。有很多方法可以实现有监督学习,我们将探讨几种最常用的方法。


根据给定的数据集,机器学习可以分为两大类:分类(Classification)和回归(Regression)。如果给定的数据集的输出值是类别,那么待解决是分类问题。如果给定的数据集的输出值是连续的,那么该问题是回归问题。


举两个例子

分类:判断是猫还是狗。

回归:房子的售价是多少?


分类


考虑这样一个例子,医学研究员想要分析乳腺癌数据,用于预测患者使用三种治疗方案中的哪一种。该数据分析问题就属于分类问题,通过建立分类模型来预测类别标签,例如治疗方案A治疗方案B或者治疗方案C


分类是一个预测类别标签的预测问题,这些类别标签都是离散和无序的。分类包含两个步骤:学习步骤和分类步骤。


分类方法和选择最优方法


一些常见的分类算法:

  • K近邻

  • 决策树

  • 朴素贝叶斯

  • 支持向量机


在学习步骤中,分类模型通过分析训练集数据建立一个分类器。在分类步骤中,分类器对给定的数据进行分类。用于分析的数据集(包含数据和其对应的标签)被划分为训练集和测试集。训练集从分析用的数据集中随机抽取。剩下的数据集构成测试集。测试集和训练集相互独立,即测试集中的数据不会被构建于分类器。


测试集用于评价分类器的预测精度。分类器的精度用测试集中预测正确的百分比表示。为了获得更高的精度,最好的方法是测试多个不同的算法,同时,对每个算法尝试不同的参数。可以通过交互检验选择最好的算法和参数。


对于给定问题,在选取算法时,算法的精度、训练时间、线性、参数数目以及特殊情况都要考虑在内。


在IRIS数据集上实现sklearn中的KNN,并对给定的输入进行花卉类型分类。


首先,要应用机器学习算法,我们需要了解给定数据集的组成。在这个例子中,我们使用内置在sklearn包中的IRIS数据集。现在让我们使用代码查看IRIS数据集。


请确保你的电脑上成功安装了Python。然后,通过PIP安装下面这些python库:


pip install pandas
pip install matplotlib
pip install scikit-learn


在下面这段代码中,我们使用pandas中的一些方法查看IRIS数据集的一些属性。


from sklearn import datasets
import pandas as pd
import matplotlib.pyplot as plt

# Loading IRIS dataset from scikit-learn object into iris variable.
iris = datasets.load_iris()

# Prints the type/type object of iris
print(type(iris))
# <class 'sklearn.datasets.base.Bunch'>

# prints the dictionary keys of iris data
print(iris.keys())

# prints the type/type object of given attributes
print(type(iris.data), type(iris.target))

# prints the no of rows and columns in the dataset
print(iris.data.shape)

# prints the target set of the data
print(iris.target_names)

# Load iris training dataset
X = iris.data

# Load iris target set
Y = iris.target

# Convert datasets' type into dataframe
df = pd.DataFrame(X, columns=iris.feature_names)

# Print the first five tuples of dataframe.
print(df.head())


输出:


<class ‘sklearn.datasets.base.Bunch’>
dict_keys([‘data’, ‘target’, ‘target_names’, ‘DESCR’, ‘feature_names’])]
<class ‘numpy.ndarray’> <class ‘numpy.ndarray’>
(150, 4)
[‘setosa’ ‘versicolor’ ‘virginica’]
sepal length (cm) sepal width (cm) petal length (cm) petal width  (cm)
0   5.1   3.5   1.4  0.2
1   4.9   3.0   1.4  0.2
2   4.7   3.2   1.3  0.2
3   4.6   3.1   1.5  0.2
4   5.0   3.6   1.4  0.2


Sklearn中的K最近邻算法


如果一个算法仅存储训练集数据,并等待测试集数据的给出,那么这个算法便可认为是一个“懒惰学习法”。直到给定测试集数据,它才会根据它与存储的训练集样本的相似性来对新样本进行分类。


K近邻分类器就是一个懒惰学习法。


K近邻基于类比学习,比较一个测试样本和与之相似训练集数据。训练集有n个属性表征。每个样本由n维空间中的一个点表示。这样,训练集中的所有样本都储存在n维模式空间中。当给定一个未知的样本,K近邻分类器在模式空间中搜寻和未知样本最接近的k个训练样本。这k个训练样本就是未知样本的k个近邻。


“接近度”用距离来度量,例如欧几里得距离。较好的K值可以通过实验确定。


在下面这段代码中,我们导入KNN分类器,将之应用到我们的输入数据中,然后对花卉进行分类。


from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier

# Load iris dataset from sklearn
iris = datasets.load_iris()

# Declare an of the KNN classifier class with the value with neighbors.
knn = KNeighborsClassifier(n_neighbors=6)

# Fit the model with training data and target values
knn.fit(iris['data'], iris['target'])

# Provide data whose class labels are to be predicted
X = [
   [5.9, 1.0, 5.1, 1.8],
   [3.4, 2.0, 1.1, 4.8],
]

# Prints the data provided
print(X)

# Store predicted class labels of X
prediction = knn.predict(X)

# Prints the predicted class labels of X
print(prediction)


输出:


[1 1]


其中,0,1,2分别代表不同的花。在该例子中,对于给定的输入,KNN分类器将它们都预测成为1这个类别的花。


KNN对IRIS数据集分类的直观可视化



回归


回归通常被定义为确定两个或多个变量之间的相关关系。例如,你要通过给定的数据X预测一个人的收入。这里,目标变量是指该变量是我们关心以及想要预测的未知变量,而连续是指Y的取值没有间隔。


预测收入是一个经典的回归问题。你的输入应当包含所有与收入相关的个人信息(比如特征),这些信息可以预测收入,例如工作时长、教育经历、职称以及他的曾住地等。


回归模型


一些常见的回归模型有

  • 线性回归

  • 逻辑回归

  • 多项式回归


线性回归通过拟合一条直线(回归线)来建立因变量(Y)与一个或多个自变量(X)之间关系。


用数学公示表示,即h(xi) = βo + β1 * xi + e,其中

  • βo是截距

  • β1是斜率

  • e是误差项


用图表示,即


逻辑回归是一种预测类别的算法,用于找出特征和特定输出概率之间关系。


当然了,我们也可以把逻辑回归归类为分类算法,但就像我们刚才所说,逻辑回归的输出其实是目标对象属于某一类别的概率。既然概率是连续的,我们依旧把逻辑回归算作回归算法。


用数学公式表示:p(X) = βo + β1 * X,其中p(x) = p(y = 1 | x)


图形表示为


多项式回归是一种将自变量x与因变量y的关系拟合为x的n阶多项式的回归算法。


解决线性回归问题


我们有数据集X,以及对应的目标值Y,我们使用普通最小二乘法通过最小化预测误差来拟合线性模型


给定的数据集同样划分为训练集和测试集。训练集由已知标签的样本组成,因此算法能够通过这些已知标签的样本来学习。测试集样本不包含标签,你并不知道你试图预测样本的标签值。


我们将选择一个需要训练的特征,应用线性回归方法拟合训练数据,然后预测测试集的输出。


用Sklearn实现线性回归


from sklearn import datasets, linear_model
import matplotlib.pyplot as plt
import numpy as np

# Load the diabetes dataset
diabetes = datasets.load_diabetes()


# Use only one feature for training
diabetes_X = diabetes.data[:, np.newaxis, 2]

# Split the data into training/testing sets
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]

# Split the targets into training/testing sets
diabetes_y_train = diabetes.target[:-20]
diabetes_y_test = diabetes.target[-20:]

# Create linear regression object
regr = linear_model.LinearRegression()

# Train the model using the training sets
regr.fit(diabetes_X_train, diabetes_y_train)

# Input data
print('Input Values')
print(diabetes_X_test)

# Make predictions using the testing set
diabetes_y_pred = regr.predict(diabetes_X_test)

# Predicted Data
print("Predicted Output Values")
print(diabetes_y_pred)

# Plot outputs
plt.scatter(diabetes_X_test, diabetes_y_test, color='black')
plt.plot(diabetes_X_test, diabetes_y_pred, color='red', linewidth=1)

plt.show()


输入


输入值:


[
 [ 0.07786339]  [-0.03961813]  [ 0.01103904]  [-0.04069594]  
 [-0.03422907]  [ 0.00564998]  [ 0.08864151]  [-0.03315126]
 [-0.05686312]  [-0.03099563]  [ 0.05522933]  [-0.06009656]
 [ 0.00133873]  [-0.02345095]  [-0.07410811]  [ 0.01966154]
 [-0.01590626]  [-0.01590626]  [ 0.03906215]  [-0.0730303 ]
 ]


预测的输出值:


[ 
225.9732401   115.74763374  163.27610621  114.73638965  
120.80385422  158.21988574  236.08568105  121.81509832  
99.56772822   123.83758651  204.73711411   96.53399594  
154.17490936  130.91629517   83.3878227   171.36605897
137.99500384  137.99500384  189.56845268   84.3990668
]

结语


提一下常用的监督学习的python库

  • Scikit-Learn

  • Tensorflow

  • Pytorch


最后布置一个作业:请根据文章内容,用监督学习推测一下今天的文摘菌是哪位帅哥小编~


原文链接:https://towardsdatascience.com/supervised-learning-with-python-cf2c1ae543c1



查看评论

教你用Python实现简单监督学习算法

大数据文摘作品编译:文明、笪洁琼、天培今天,文摘菌想谈谈监督学习。监督学习作为运用最广泛的机器学习方法,一直以来都是从数据挖掘信息的重要手段。即便是在无监督学习兴起的近日,监督学习也依旧是入门机器学习...
  • qq_41597912
  • qq_41597912
  • 2018-04-03 19:17:08
  • 13

小白如何学习大数据

https://v.qq.com/x/page/i0356z1qdhr.html   java se 之后进入java ee的阶段 按理来说学习过javaee 就可以学习大数据了 49...
  • Rodulf
  • Rodulf
  • 2017-05-05 12:17:55
  • 504

监督学习最常见的四种算法

在机器学习中,无监督学习(Unsupervised learning)就是聚类,事先不知道样本的类别,通过某种办法,把相似的样本放在一起归位一类;而监督型学习(Supervised learning)...
  • laobai1015
  • laobai1015
  • 2017-07-12 10:37:04
  • 1770

讲给小白——程序、算法、机器学习、深度学习

什么是程序(Program)计算机程序,是指为了得到某种结果而可以由计算机(等具有信息处理能力的装置)执行的代码化指令序列(或者可以被自动转换成代码化指令序列的符号化指令序列或者符号化语句序列)。通俗...
  • sdlypyzq
  • sdlypyzq
  • 2016-07-01 23:35:07
  • 12533

零基础小白应该怎么入门编程开发

最近,在交流群里经常有苦逼小白问怎样学编程,对编程有兴趣但无从下手,这是个庞大到让大神们“无言以对”的命题。在知乎、CSDN等论坛上,许多同行也对此类问题进行了探讨,小编就其中认可度较高的回答进行了整...
  • c1782746138
  • c1782746138
  • 2014-10-22 15:31:09
  • 7686

机器学习笔记 监督学习算法小结(一)

前言坚持写博客半年多了,但感觉自己没有写技术博客的天赋,写出来的东西深度和广度都欠缺,也不容易理解。事实上大部分技术博客都存在这些问题,但即便写得不好,也会起到一定作用,所以我还是决定坚持写下去。接触...
  • qq_35064774
  • qq_35064774
  • 2017-02-04 12:16:36
  • 2304

无监督学习k-means简单实现

%随机获取150个点 %X = [randn(50,2)+ones(50,2);randn(50,2)-ones(50,2);randn(50,2)+[ones(50,1),-ones(50,1)]]...
  • u013058160
  • u013058160
  • 2015-12-29 01:17:06
  • 627

决策树算法(有监督学习算法)

一、决策树基础    决策树(Decision Tree)算法是根据数据的属性采用树状结构建立决策模型,这个模型可以高效的对未知的数据进行分类。决策树模型常常用来解决分类和回归问题。如今决策树是一种...
  • Chenyukuai6625
  • Chenyukuai6625
  • 2017-06-24 10:13:12
  • 1508

关联分析学习算法篇Apriori

小白学数据分析----->关联分析学习算法篇Apriori 早些时候写过关于购物篮分析的文章,其中提到了C5.0和Apriori算法,没有仔细说说这算法的含义,昨天写了一下关联分析的理论...
  • a051223
  • a051223
  • 2014-10-26 09:25:46
  • 508

小白学SAS,入门经典

  • 2017年04月19日 10:19
  • 40.28MB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 497
    排名: 10万+
    文章存档