随手记 AutoML for Deep Recommender Systems: A Survey

AutoML for Deep Recommender Systems: A Survey

AUTOMATED EMBEDDING DIMENSION SEARCH (AUTO-EDS)

• 动机：

• • 计算资源消耗过大：Embedding占整个模型参数的80%以上
• • 不令人满意的表现：很多特征域的交互是无用的，有些却非常有用，如果统一Embedding维度的话会造成有用的交互没有更多的参数去表达它丰富的信息，无用的交互过拟合的问题。
• • 修剪好Embedding维度后又会造成新的问题，比如内积需要维度相同，一种解决方式是修剪好的embedding维度乘以一个$projectionmatrix{P}_i$

• 解决方式

• • Heuristic Methods
• • • 人工设计Embedding维度修剪公式，泛化和表示能力不足。
      
      
• • hyper-parameter optimization (HPO)
• • • 预定义一个搜索空间去搜索Embedding维度为多少时最佳
• • • NIS (Neural Input Search) 将embedding matrix矩阵分解后通过搜索所有的可能来找到合适的子矩阵维度
• • • DNIS
      可以发现，embedding的公式如下，E代表embedding矩阵
      
      DNIS的思想为对每个压缩好的$e_i$进行注意力机制的筛选（文中称为软搜索），进行哈达玛积求出具有重要性信息的$e_i$，这么做就可以将其从离散的维度搜索空间值，放松为连续可微的。
      
      之后根据$e$反推出$E$再根据超参数设置阈值，对$E$进行修剪，最后使用修剪好的具备稀疏性的$\tilde{E}$推出$e$
      
• • • AutoEmb
      基于交互的流行程度与性能的具体表现使用Softmax求出对搜索空间中每个embedding维度的权重$a_i$
      
• • • AutoDim
      和AutoEmb一样不过将其推广到特征域上，并且使用的不是传统softmax而是Gumbelsoftmax
      
• • • ESAPN
      此论文提出的方法也是建立一个维度候选集合，先按照最小的维度初始化。
      
      接着按照Policy Network对其进行判断是否需要扩大或者不变
      
      当被扩大或者需要统一维度交互的时候可以通过下面的递推公式进行维度扩大或统一
      
• • HPO-based Auto-EDS methods虽然可以以可微的方式去优化EDS维度，但也存在很多问题：
    1). 计算存储资源损耗问题：可以发现当修剪好EDS维度之后会导致预定义的交互函数无法输入（如MLP），因为输入的维度不同
    2). 额外的优化：我们需要更多的超参数当做修剪EDS的指标
    3). 假设不可靠：此类方法一直有一个假设，即出现频率高的特征应该被赋予更大的EDS维度，但这不总是满足现实中的复杂情况
• • embedding pruning methods