Python机器学习笔记01——三种类型的机器学习

三种类型的机器学习

1.有监督学习

有标签数据
直接反馈
可以预测结果或者未来

2.无监督学习

无标签/目标
无反馈
寻找数据中隐藏的结构

3.强化学习

决策过程
奖励机制
学习一系列的行动

一、有监督学习

有监督学习的主要目标是从有标签的训练数据中学习模型，以便对未知数据做出预测。监督是指已经知道样本所需要的标签。

前段时间我做的毕业设计是关于目标检测的相关内容，目标检测就是一种有监督学习，我们需要对数据集进行制作，并对每一张图片中的目标进行标注，产生相应的标签文件，基于打过标签的图片进行模型的训练，训练好的模型就可以预测新图片中目标的位置与类别的信息。

带有分类标签的有监督学习被称为分类任务，除了分类任务，另外一个任务称为回归，在目标检测方面回归则是标注目标的位置信息，在机器学习中的回归其结果信号是连续的数值。

1.预测标签的分类

分类任务可以分为二元分类任务和多元分类任务，邮件过滤就可以看作二元分类任务，邮件只会被分成两类，是垃圾邮件和不是垃圾邮件，多元分类任务就是有多个类别。

2.预测连续结果的回归

对连续结果的预测也称为回归分析，回归分析一些预测变量和一个连续的相应变量，试图寻找能够预测结果的变量之前的关系。（我理解的就是找到变量与结果之间的关系，比如对一个线性函数来说，我们就要找到自变量x和因变量y的关系）

二、强化学习

强化学习的目标是开发系统或代理，通过他们与环境的交互来提高其预测性能，通过他们与环境的交互来提高其预测性能。当前环境状态信息通常包含所谓的奖励信号，强化学习的反馈是奖励函数对行动的度量。

这些专业术语很难理解，我在网上找到一个例子，可以很好的解释什么是强化学习

强化学习（RL）是一个序列决策问题。
例子：撩妹的过程就是一个优化问题。你的每一时刻的行为会对你最终撩妹是否成功，以多大的收益成功都会有影响。那么，你就会考虑，每一步采取什么行为才能（最优）撩妹！这可以看作一个RL问题。你肯定迫不及待的想知道怎么去求解了！
假设1:你是第一次撩妹。那么你会去求教他人，逛各种论坛，总之收集大量相关知识。这个过程就是experience data。利用离线数据来train一个model。
假设2:过去你有很多撩妹经验。你似乎又发现总是按照套路来并不能成功。嗯，经典的探索与利用问题，于是你尝试了其他方法，你发现获得了更好的效果。嗯，more optimal policy
将上述过程对应到RL中：action：你的行为state：你观察到的妹子的状态reward：妹子的反应：开心or不开心
ps：撩妹tm还是部分可观测问题，难怪我多年无解啊！哈哈！至此，一个RL的基本模型已经建立。

国际象棋也是一个常见的例子，计算机根据棋盘的状态或环境来决定一系列的行动，奖励为比赛结果的输赢。

三、无监督学习

无监督学习处理的是无标签或结构未知的数据，使用无监督技术，可以在没有已知结果变量或奖励函数的指导下，探索数据结构以提取有意义的信息。

1.寻找聚类的子集

聚类是探索性的数据分析技术，可以在事先不了解组员的情况下，将信息分成有意义的组群，每个群定义一组对象，他们之间具有一定程度的相似性，但是与其他群组中对象差异很大。

上图就是应用聚类把无标签数据根据x1和x2的相似性分成三组。

2.通过降维压缩数据

无监督学习的另一个子类是降维。高维数据需要大量的测量，这样对存储空间和机器学习算法的计算性能要求很高。无监督降维是特征预处理中数据去噪的一种常用方法，它降低了某些算法对预测性能的要求，并在保留大部分相关信息的同时将数据压缩到较小维数的子空间上。降维有利于数据的可视化，可以将高维特征数据集投影一、二或三维特征空间。
（在不改变预测性能的基础上将数据压缩，我认为这个和卷积神经网络中的池化层有相似之处，可以减少参数数量）

三、机器学习步骤

1.数据预处理

我们可以对数据进行一些预处理，比如统一单位、数据降维等。另外我们可以将数据集随机分成单独的训练集和测试集，用训练集来训练和优化机器学习模型，同时把测试集保留到最后用以评估最终的模型。

2.训练和选择预测模型

对于不同的数据集，难以确定哪个模型更优越，在实践中，需要选择不同算法进行对比，然后选出性能最好的模型。

3.评估模型和预测新样本数据

训练好合适的模型之后，可以用测试集来评估它在新数据上的性能，以评估误差。如果对模型的性能感到满意，那么就可以用它来预测未来的新数据。