基于 Spark 的大规模机器学习在微博的应用

众所周知，自2015年以来微博的业务发展迅猛。如果根据内容来划分，微博的业务有主信息（Feed）流、热门微博、微博推送（Push）、反垃圾、微博分发控制等。每个业务都有自己不同的用户构成、业务关注点和数据特征。庞大的用户基数下，由用户相互关注衍生的用户间关系，以及用户千人千面的个性化需求，要求我们用更高、更大规模的维度去刻画和描绘用户。大体量的微博内容，也呈现出多样化、多媒体化的发展趋势。

一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在 CCTC 2017云计算大会 Spark 峰会所做分享《基于 Spark 的大规模机器学习在微博的应用》主题的一部分，介绍微博在面对大规模机器学习的挑战时，采取的最佳实践和解决方案。

Spark Mllib

针对微博近百亿特征维度、近万亿样本量的模型训练需求，我们首先尝试了 Apache Spark 原生实现的逻辑回归算法。采用该方式的优点显而易见，即开发周期短、试错成本低。我们将不同来源的特征（用户、微博内容、用户间关系、使用环境等）根据业务需要进行数据清洗、提取、离散化，生成 Libsvm 格式的可训练样本集，再将样本喂给 LR 算法进行训练。在维度升高的过程中，我们遇到了不同方面的问题，并通过实践提供了解决办法。

Stack overflow

栈溢出的问题在函数嵌套调用中非常普遍，但在我们的实践中发现，过多 Spark RDD 的 union 操作，同样会导致栈溢出的问题。解决办法自然是避免大量的 RDD union，转而采用其他的实现方式。

AUC=0.5

在