浅谈机器学习框架和算法

概述

机器学习,顾名思义,就是学习得像机器一样,形成一种解决某类问题的模型,以便我们遇到问题解决问题。下面我将介绍机器学习的框架和一些常用的比较主流的算法。

框架

确定目标

  1. 业务需求:首先我们必须要明确机器学习是要用来解决问题的,一般是通过大量的数据,来预测未来的行为。所以首先要明确的就是业务需求,明确了业务需求,才能采集对应的数据,进行深入研究。
  2. 数据:这个数据就是我们要分析的基础,但不是机器学习的直接原材料,所有的数据都在数据池中,而且这个数量是庞大的,也是根据上一步明确了业务需求之后进行的。
  3. 特征工程(Feature Engineering):这个步骤可以说是在明确目标这一模块中最为重要的,包括数据清洗、数据整合、特征提取等几个步骤,根据我们的业务需求,提取出具有相同特征满足我们想要结果要求的所有数据。要知道数据池中的数据是杂乱无章的,参差不齐的,所以要提取出整齐的,满足我们要求的数据,是相对复杂也极为重要的,只有这一布处理好了,下面进行训练的时候才能较为准确,更加高效。

训练模型

  1. 定义模型:要想通过学习训练得到训练模型,必须要先定义一个模型,明确要得到一个什么样的模型,才能通过大量的数据训练得到期望的较为准确的模型。
  2. 定义损失函数:什么是损失函数?顾名思义,是为了填补损失的函数。何谓损失?损失就是通过机器学习预测的结果和真正结果之间的关系。预测的结果肯定不能十分准确,那就需要损失函数来填补这二者之间的差距,让最终的预测结果尽可能地准确。
  3. 优化算法:这个的目的就是找到让损失函数取最小值的最优算法。这部分是最为有趣的部分。

模型评估

  1. 交叉验证:对预测结果进行验证,利用交叉的方法测试。
  2. 效果评估:要对这个预测结果的效果进行总体的评估,看是否能满足最初的业务需求,计算准确率,如果不达要求,还要重新进行前两步的步骤,重新提取特征,进行训练,得到新的训练模型。

算法分类

机器学习的算法有很多种,可以根据多个角度进行分类。下面以三个不同的角度,将机器学习的算法进行分类:

第一种

  1. 有监督学习:明确了给出的样本是属于哪个标签的,即:已知并明确了类别,要将样本进行分类。例如划分垃圾邮件的朴素贝叶斯算法,就属于此类,因为垃圾邮件的类别已知,只有两类,是或者不是垃圾邮件。用一个更生动的形容,可以将样本比作X,所属类别比作Y,那么这个分类就是已知X和Y类。属于此类的有分类算法,回归算法等
  2. 半监督学习:又名强化学习,有Y值,但是不是最终的分类结果,需要在算法过程中逐渐完善类别,明确类别。
  3. 无监督学习:不知道Y值,即不知道最终要分成几类。例如聚类算法,目的就是要的出有几种类别。

第二种

第二种分类依据是根据要解决的问题的类型:
1. 分类与回归:类似于有监督学习。
2. 聚类:类似于务监督学习。
3. 标注:类似于半监督学习。

第三种

第三种分类是依据算法的本质进行划分
1. 生成模型:通过算法,计算出属于各个类别的概率,不明确指出具体唯一地属于哪个类,属于陪审团的角色。
2. 判别模型:直接给出函数的结果,即分类结果,属于法官的角色。
所有算法非1即2,算法的本质不一样导致训练模型的思想不一样。

流行的主流算法

如图所示
这里写图片描述

阅读更多
文章标签: 机器学习 算法
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭