《Learning Spark》第十一章：Spark（MLlib）与机器学习

2020/07/06 -

引言

我一直以为这部分内容，其实没有什么大不了的，反正就是弄出来数据，然后跑算法就完事了嘛。但是仔细读了读这小节，发现了一些不一样的地方。这里来列举一下，我读完这个章节之后的一些想法，然后再具体来记录这部分的主要内容。

1）他算法的输入是需要转化一下的（向量），我看到的大多是通过了某种特征工程的东西，然后这种就已经是满足的数据格式了，不知道普通的矩阵向量应该怎么弄呢？map？
2）数据集cache，这个步骤很关键，我感觉这部分内容实际上是最重要的
3）支持的算法，他文中也说了，并不是所有的算法都具有实现，大部分都是一些能够支持在并行机器上运行的才行；但是，他也提到了一种方式（适用于小数据集），然后多个机器并行跑，不过我没想通他是怎么弄的。其实如果是小数据集，那么这种能够在多个机器上跑完整的pipeline，然后来评估这个性能，我感觉这种性能就挺好的。

不过，我觉得，暂时的情况下，我需要考虑的是，怎么样将sklearn中一些常用的api，让我找到其在spark中对应的实现呢。做到这一步再说后面的事情。

从其引言的内容上来看
本章主要是简单列举了一下这个MLlib的使用方法，并没有非常多的信息。看来如果是这样的话，那就得自己想办法来学习了。那么本文章的内容将首先介绍一下书籍上的内容，然后再通过我的实践从需求中找到具体的实现。

注意，在spark2.0之后，mllib就进入了保留状态，核心的机器学习库将在ml中进行开发。

1. MLlib操作流程

数据类型，在前面的章节中介绍过，spark的核心数据类型是RDD，那么机器学习过程中也是对这种数据进行操作；同时，他也引入了一些适用于机器学习的数据类型，来表述数据集中的一些东西，（例如向量、带标记的数据点）。来看一下他列举的这个流程。

1. 添加数据，用RDD在内存中代表这个东西
2. 利用特征提取算法将文本（本例是一个文本分类的例子）转化为数值特征，这个数值特征是内置的数据类型（向量类型），然后返回一个数值向量的RDD；
3. 在向量RDD上调用分类算法，返回一个模型可以用于分类新的数据点
4. 使用MLlib的评估函数在测试集上评估数据集

整体上来看，好像没有多大的问题，但是主要是这里的API和sklearn是不一样的。这就有点尴尬了；如何找到相对应的api。同时，文中也说了，当前的MLlib还比较原始，可能api还需要自己来弄。（当然这是很久之前版本的东西了，有没有更新就不太清楚了）

这里的一句话解答了我之前的疑惑，就是spark是否实现了机器学习算法的并行化；我当时也是为了能够从这种集群中获得速度的提升。当时我得出的结论是，他只有最后的评估也好，或者多线程训练也好这种获得了实质上的速度提升。今天的这句话给了给了我解答：MLlib只包含可以在集群上运行的并行算法。一些经典算法没有被包含，是因为他们没有办法被设计为并行算法。这种说法就代表着，MLlib使用于大型数据集。
但这里给出了一个说法，就是你可以在每个工作节点上给他们部署任务，让他们同时跑，不过我有点理解不了，这个东西是怎么实现的在现有的模型下。看完我好像有点明白了，他是这么说的，使用parallelize()；他的目标是在小数据集上训练相同的算法，也就是调参，那么你可以将使用map的方法，每个节点选一个，然后同时对某个数据集进行训练。实际上这种方法就已经超出了我之前的理解了。就是他这个时候的RDD,是一个参数集合，你map了之后，map的参数里的函数就是训练里面的东西，然后达到最后的效果。我是这么理解的， 不知道是不是这么回事，而且的确他说的时小数据集，这样数据集能够被导入到每个节点的内存中。本质上的方法就是每台机器使用机器自己的机器学习库，然后来训练；就是一个集群上的多线程。
（上面这个方法挺好的， 如果是比较小的数据集的话，但是这里需要考虑这个内存的问题，然后每个机器都是多大。）

---

参考文章

[1]Spark实战：基于Spark的随机森林分类算法分析