机器学习基础

一.机器学习就是把无序的数据转换成游泳的信息，它能让我们自数据集中收到启发，换句话说，我们利用计算机来彰显数据背后的真是含义，这是机器学习的真是含义。

二.基本概念 和 关键术语

 

通过构建鸟类分类系统，来解释机器学习中设计的常用术语。

上图是我们用于区分不同鸟类需要使用的四个不同的属性值，我们选用体重，翼展，有无脚蹼，以及背后颜色作为评测基准。

1. 表格中前面四列测量的这四中值称之为 特征，也可以成为属性，上表是包含 六个 训练样本 的训练集，每个训练样本有 4种特征、一个目标变量；
2. 机器学习的主要任务就是  分类，这里就是讲述如何使用上表对鸟类进行分类；
3. 机器学习的另一项任务就是 回归，主要用于预测数值型数据，例子：数据拟合曲线，通过给定数据点的最优拟合曲线；
4. 分类 和 回归 属于监督学习，之所以称之为监督学习，是因为这类算法必须知道预测什么，即目标变量的分类信息；
5. 目标变量是机器学习算法的预测结果，在 分类算法 中 目标变量的类型通常是 标称型 的，而在 回归算法 中通常是 连续型 的；
6. 与监督学习相对应的是 无监督学习，此时数据没有类别信息，也不会给定目标值。
7. 在无监督学习中，将数据集合分成由类似的对象组成的多个类的过程被称为 聚类，将寻找描述数据统计的过程称为 密度估计，无监督学习还可以减少数据特征的维度以便用二维或者三维图形更加直观地展示数据信息；
8. 我们的最终目的是要决定使用某个机器学习算法进行分类，首先需要做的是算法训练，即学习如何分类，通常我们为算法输入大量已分类数据作为算法的 训练集，训练集是用于训练机器学习算法的数据样本集合；

三.如何选择合适的算法

此图列出了机器学习的主要任务，以及解决相应问题的算法。在实际运用中，选择可用的算法必须考虑一下两点：

1.使用算法的目的是为了完成何种任务，比如 是 预测明天下雨的概率 还是 对投票者按照兴趣分组。

      

      如果想要预测目标变量的值，则可以选择监督学习算法，否则可以选择 无监督学习 算法。确定监督学习算法后，需要进一步确定目标变量的类型。如果目标变量是离散型，如是1/2/3，是/否，A/B/C或者红/黑/黄等，则可以选择分类算法；如果目标变量是连续型的数值，如0.0~100.00、-999~999或者正无穷~负无穷等，则需要选择回归算法。

     

       如果不想预测目标变量的值，则可以选择无监督算法。进一步分析是否需要将数据划分为离散的组。如果这是唯一的需求，则使用聚类算法；如果还需要估计数据与每个分组的相似性程度，则需要使用密度估计算法。

2.需要分析或者收集的数据是什么。

   

       对数据了解越充分，越容易创建符合需求的应用程序。主要应该了解数据的一下特性：

•     特征值是离散型变量还是连续型变量，特征值中是否村子确实的值，何种原因造成缺失，数据中是否存在异常值，某个特征发生的频率如何（是否函见如大海捞针）等等。

     

       充分了解上面所提到的这些数据特征可以缩短选择机器学习算法的时间。一般不存在最好的算法或者可以给与最好结果的算法，要尝试不同算法的执行效果。对于所选的每种算法，都可以使用其他的机器学习技术来改进其性能。在处理输入数据之后两个算法的相对性能也会发生变化。

四 学习和使用机器学习算法开发应用程序，通常遵循以下的步骤。

1. 收集数据   我们可以使用很多方法来收集样本数据，如：制作网络爬虫从网站上抽取数据、设备发送过来的实测数据等。
2. 准备输入数据   得到数据之后还必须确保数据格式符合要求，可以采用的格式是 Python语言的List。使用这种表述数据格式可以融合   算法和数据与，方便匹配操作。
3. 分析输入数据  此步骤主要是人工分析以前得到的数据。为了确保前两步有效，最简单的方法是用文本编辑器打开数据文件，查看得到的数据是否为空值。还可以进一步浏览数据，分析是否可以识别出的模式；数据中是否存在明显的异常值，如某些数据点与数据集中的其他值是否存在明细的差异。此步的主要作用是确保数据集中没有垃圾数据。如果是在产品化系统中使用机器学习算法并且算法可以处理系统产生的数据格式，或者我们信任数据来源，可以跳过此步，此步需要人工干预，可能会降低系统的效率。
4. 训练算法  机器学习算法从这一步开始才真正学习。我们讲此前几步得到的格式化数据输入到算法，从中抽取只是或者信息。这里得到的知识需要存储为计算机可以处理的格式，方便后续步骤使用。如果使用无监督学习算法由于不存在目标变量值，故而不需要训练算法。
5. 测试算法  这一步将实际使用第4步机器学习得到的知识信息。为了评估算法必须测试算法工作的效果。对于监督学习，必须已知用于评估算法的目标变量值；对于无监督学习，也必须用其他的评测手段来检验算法的成功率。不满意结果，回到第4步改正并加以测试。问题常常会跟数据的收集和准备有关，这是你就要回到第1步重新开始。
6. 使用算法  讲机器学习的 算法转换为应用程序，执行实际任务，以检验上述步骤是否可以在实际环境中正常工作，此时如果碰到新的数据问题，同意需要重复执行上述的步骤。