机器学习的基础知识

机器学习之监督学习基础

http://blog.csdn.net/chl033/article/details/5452060

一、机器学习基础概念

1.机器学习分为：监督学习、无监督学习、半监督学习等几类: 

(1) 监督学习：从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。 监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的 目标是由人标注的。常见的监督学习算法包括 回归分析和 统计分类。 

(2) 无监督学习：与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有 聚类。 

(3) 半监督学习：是监督学习和无监督学习相结合的一种学习方法。它主要考虑如何利用少量的样本标注和大量的未标注样本进行训练和分类的问题。半监督学习对于减少标注代价，提高学习机器性能具有非常大的实际意义。 

2.监督学习主要研究的两块内容是分类和回归，即分类和回归归属于监督学习的范畴: 

(1) 分类：在监督学习中，如果预测的变量是 离散的（例如 -1，+1 这种）我们就称为分类。常见的分类算法有：决策树，K近邻算法（KNN），朴素贝叶斯，支持向量机（SVM），神经网络,Logistic回归等。 

(2) 回归：在监督学习中，如果预测的变量是 连续的，就称其为回归。在回归分析中如果只包含一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归称为一元线性回归。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归。回归和分类的主要区别是预测的值域不一样，分类常用算法大多也适用于回归。 

3.开发机器学习应用程序的步骤： 

(1) 收集数据。 

(2) 准备输入数据：不同的算法对数据的格式要求可能不同，所以有时需要对收集的数据进行格式转换。 

(3) 分析输入数据：这一步只要通过观察来确保数据集中没有垃圾数据。 

(4) 训练算法：机器学习算法从这一步才真正的开始学习，主要的通过特定的训练集输入到分类算法，确定算法模型的过程。

(5) 测试算法：用于检测训练算法阶段训练出来的模型是否靠谱，通常使用已知目标值的样本作为输入，观察其准确率。 

(6) 使用算法：将机器学习算法转换为应用程序，执行实际任务。 

常用于实现机器学习算法的 python语言: 

python的语法清晰，易于操作纯文本文件，开发文档丰富，且有许多线程的数据函数库（例如：NumPy）。鉴于这些特点，python是常用的机器学习程序的开发语言之一。 

二、监督学习常用算法

K-近邻算法（KNN）： 

简述：简单的说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。工作原理是：存在一个训练样本集，且样本集中的每个数据都存在类别标签。将待预测类别的一条数据输入，计算这条数据与训练样本集中数据的距离（距离的计算方式一般是将数据特征值数值化，用概率统计等数学工具计算），然后选取训练样本集中与待测数据距离最近的K条数据（通常K是小于20的整数）。这K条训练样本中类别出现最频繁的类别标签即作为带预测数据的类别标签。 

一个python版本的KNN算法实现：