特征工程：机器学习中的特征与标签nlp化

机器学习中的特征与标签自然语言化

引子

这是一篇关于机器自然语言应用和特征工程结合的文章，目的在于探讨在企业或科研场景中，特征工程的另一种可能性——解决特征稀疏或数据和模型异构场景下一种通用的解决方案。一种大大降低模型开发及数仓建设人力成本，同时提高模型精度的解决方案。

在机器学习科研领域中，往往可以看到的是在规整及缺失率低特征的数据集下，固定的生产线解决一个特定的问题。

而工业和现实场景中，用户的信息往往是极度稀疏的：
1.企业的目标用户的静态特征可能是平均缺失率在90%以上,用户的行为也极度稀疏，行为日志（购买各种各样的商品、进行不同软件的安装卸载）的种类太多无法onehot导致维度爆炸；
2.预测目标复杂，无法用一个简单的loss function描述：推荐平台需要预测用户购买物品的可能性而广告平台需要预测用户B是否点击广告，用户画像团队需要刻画用户的各种画像属性。
企业的数据团队往往需要不断使用开发人力维护输入端不同的特征工程以及机器学习人力输出端不同的模型甚至不同的流水线训练。随着业务扩展，整个架构越来越臃肿，如人月神话中的场景一样，团队陷入焦油坑。

困境：传统模型的软肋

传统的模型如决策树和神经网络都不能直接解决问题，只有依赖于优秀的算法专家的特征工程才能躲避特征的维度灾难。这是因为从本质上来说模型是一个概率统计的解决方案，通过样本的输入，对特征尝试进行解析，从而使用固定的范式（决策树、神经网络的激活函数）及合适