推理性能提升一倍，TensorFlow Feature Column性能优化实践

01

写在前面

在CTR（Click Through Rate）点击率预估的推荐算法场景，TensorFlow Feature Column被广泛应用到实践中。这一方面带来了模型特征处理的便利，另一方面也带来了一些线上推理服务的性能问题。为了优化推荐业务性能，提升线上服务效率，爱奇艺深度学习平台团队在实践中总结了一些性能优化方法。

经过这些优化，推荐业务的线上推理服务性能效率可以提升一倍以上，p99延迟降低达到50%以上。

02

背景介绍

Feature Column是TensorFlow提供的用于处理结构化数据的工具，是将样本特征映射到用于训练模型特征的桥梁。它提供了多种特征处理方法，让算法人员可以很容易将各种原始特征转换为模型的输入，来进行模型实验。

如上图所示，所有Feature Column都源自FeatureColumn类，并继承了三个子类CategoricalColumn、DenseColumn和SequenceDenseColumn，分别对应稀疏特征、稠密特征、序列稠密特征。算法人员可以按照样本特征的类型找到对应的接口直接适配。

而且 Feature Column 和 TF Estimator 接口有很好的集成，通过定义好对应的特征输入就可以直接在预定义的 Estimator 模型中使用。TF Estimator 在推荐算法的使用非常普遍，特别是它封装了分布式训练的功能。

下图是一个使用Feature Column处理特征，进入到 Estimator DNN Classifier的示例：

虽然Feature Column使用起来很方便，模型代码编写比较快，但是在爱奇艺推荐类业务的线上服务落地过程中，一些性能问题逐渐凸显，下面将逐个介绍我们在实际中碰到的一些问题，以及如何优化。

03

整型特征哈希优化

推荐类模型通常都会将ID类特征哈希到一定数量的bucket 分桶，然后转换成 Embedding再作为神经网络的输入，比如视频类ID特征，用户ID特征，商品ID特征等。示例如下：

在` categorical_column_with_hash_bucket `的文档[2]里面说到：对于String类型的输入，会执行`output_id = Hash(input_feature_st