tensorflow 特征工程中的combiner

combiner

combiner的行为

tf.contrib.layers.sparse_column_with_hash_bucket 的参数中有一个combiner. 他的含义是说，当产生稠密向量的时候，使用combiner与权重重重新计算权重，也就是相当于对权重的正则化。举个例子来说，feature A中，包含两个稀疏向量，分别是[0, 1, 0]和[0,0,1] 他们分别对应一个权重0.4和0.1。那么对于不同的combiner处理方式是这样的:

• sum: A = ([0, 1, 0] * 0.4 + [0, 0, 1] * 0.1)
• mean: A = ([0, 1, 0] * 0.4 + [0, 0, 1] * 0.1) / (0.4 + 0.1)
• sqrtn: A = ([0, 1, 0] * 0.4 + [0, 0, 1] * 0.1) / sqrt(0.4 * 0.4 + 0.1 * 0.1)

combiner的使用

查看 tf.contrib.learn.LinearClassifier, 调用关系如下:

LinearClassifier->BaseEstimator.fit->LinearClassifier._linear_model_fn->joint_weighted_sum_from_feature_columns->_create_joint_embedding_lookup->_safe_embedding_lookup_sparse->embedding_ops.embedding_lookup_sparse

所以对于featrue的处理最终就落到了 embedding_lookup_sparse 这个函数

embedding_lookup_sparse

文档中关于这个函数的说明非常清楚，也就是前面我列的combiner的行为哪里的阐述. 在这里最重要的是 sp_weights 这是一个参数。sp_weights是从_safe_embedding_lookup_sparse的参数中获取的, 而 _safe_embedding_lookup_sparse 是在_create_joint_embedding_lookup中赋值的参数。代码如下:

def _create_joint_embedding_lookup(columns_to_tensors,
                                   embedding_lookup_arguments,
                                   num_outputs,
                                   trainable,
                                   weight_collections):
  """Creates an embedding lookup for all columns sharing a single weight."""
  for arg in embedding_lookup_arguments:
    assert arg.weight_tensor is None, (
        'Joint sums for weighted sparse columns are not supported. '
        'Please use weighted_sum_from_feature_columns instead.')
    assert arg.combiner == 'sum', (
        'Combiners other than sum are not supported for joint sums. '
        'Please use weighted_sum_from_feature_columns instead.')
  assert len(embedding_lookup_arguments) >= 1, (
      'At least one column must be in the model.')
  prev_size = 0
  sparse_tensors = []
  for a in embedding_lookup_arguments:
    t = a.input_tensor
    values = t.values + prev_size
    prev_size += a.vocab_size
    sparse_tensors.append(
        sparse_tensor_py.SparseTensor(t.indices,
                                      values,
                                      t.dense_shape))
  sparse_tensor = sparse_ops.sparse_concat(1, sparse_tensors)
  with variable_scope.variable_scope(
      None, default_name='linear_weights', values=columns_to_tensors.values()):
    variable = contrib_variables.model_variable(
        name='weights',
        shape=[prev_size, num_outputs],
        dtype=dtypes.float32,
        initializer=init_ops.zeros_initializer(),
        trainable=trainable,
        collections=weight_collections)
    if fc._is_variable(variable):  # pylint: disable=protected-access
      variable = [variable]
    else:
      variable = variable._get_variable_list()  # pylint: disable=protected-access
    predictions = embedding_ops.safe_embedding_lookup_sparse(
        variable,
        sparse_tensor,
        sparse_weights=None,
        combiner='sum',
        name='_weights')
    return variable, predictions

看到在 safe_embedding_lookup_sparse 调用的时候，将sparse_weights设置成了None, 同时combiner为’sum’. 所以实际在featrue_column中设置的combiner根本就没有起到任何作用，都是sum，同时因为 ‘sparser_weights=None’ 所以weight是没有数据的。其实即使这里不设置为none在 _SparserColumn中也是获取的None. 所以这个参数在实际的线性分类器中就没有起作用。