1、tf.contrib.layers.fully_connected与tf.contrib.layers.linear的区别
tf.contrib.layers.fully_connected与tf.contrib.layers.linear实现一致,使用tf.contrib.layers.fully_connected一般将激活函数选项至None,因为线性变换不需要非线性变换,与此同时,tf.contrib.layers.fully_connected可以加上bias和正则项。
2、tf.contrib.layers.fully_connected简介与实例
fully_connected创建一个名为的变量weights,表示一个完全连接的权重矩阵,乘以它inputs产生一个 Tensor隐藏单位。如果normalizer_fn提供了数据(例如 batch_norm),则应用它。否则,如果normalizer_fn为None且使用了biases_initializer,biases则将创建变量并添加隐藏单位。
如果activation_fn不是None,它也会应用于隐藏单位。
fully_connected(inputs,
num_outputs,
activation_fn=nn.relu,
normalizer_fn=None,
normalizer_params=None,
weights_initializer=initializers.xavier_initializer(),
weights_regularizer=None,
biases_initializer=init_ops.zeros_initializer(),
biases_regularizer=None,
reuse=None,
variables_collections=None,
outputs_collections=None,
trainable=True,
scope=None)
inputs:至少为二阶张量和最后一个维度的静态值; 即[batch_size, depth],[None, None, None, channels]。
num_outputs:整数或长整数,图层中的输出单位数。
activation_fn:激活功能。默认值是ReLU功能。将其明确设置为“无”以跳过它并保持线性激活。
normalizer_fn:使用标准化功能代替biases。如果 normalizer_fn提供biases_initializer,biases_regularizer则忽略并且biases不创建也不添加。没有规范化器功能,默认设置为“无”
normalizer_params:规范化函数参数。
weights_initializer:权重的初始化程序。
weights_regularizer:可选的权重正则化器。
biases_initializer:偏见的初始化程序。如果没有跳过偏见。
biases_regularizer:偏见的可选正则化器。
reuse:是否应重用图层及其变量。必须给出能够重用层范围的能力。
variables_collections:所有变量的集合的可选列表或包含每个变量的不同集合列表的字典。
outputs_collections:用于添加输出的集合。
trainable:如果True还将变量添加到图表集合中 GraphKeys.TRAINABLE_VARIABLES(请参阅tf.Variable)。
scope:variable_scope的可选范围。
weighted_sum_from_feature_columns看到的其他同学实现的线性函数,直接从input_features_columns和features中进行计算。并通过tf.contrib.layers.apply_regularization进行正则化。
linear_logits, collections_linear_weights, linear_bias = \
layers.weighted_sum_from_feature_columns(
columns_to_tensors=features,
feature_columns=feature_columns,
num_outputs=1,
weight_collections=None,
scope=None) # wide_scope
linear_logit = linear_logits + linear_bias
weights_list = list(map(lambda x: x[0], collections_linear_weights.values()))
tf.contrib.layers.apply_regularization(tf.contrib.layers.l2_regularizer(float(l2_reg_linear)),
weights_list=weights_list)
tf.contrib.layers.fully_connected使用参考
以wide&deep的wide部分实现为例,如下所示:
dense_input_list = [tf.contrib.layers.input_from_feature_columns(columns_to_tensors=features, feature_columns=[feat]) for feat in feature_columns]
dense_input = concat_fun(dense_input_list)
linear_logit = tf.contrib.layers.fully_connected(dense_input, 1, activation_fn=None, weights_initializer=tf.contrib.layers.xavier_initializer(),
weights_regularizer=tf.contrib.layers.l2_regularizer(float(l2_reg_linear)),
biases_initializer=tf.zeros_initializer(),
biases_regularizer=tf.contrib.layers.l2_regularizer(float(l2_reg_linear)),
trainable=True)
concat_fun将dense特征拼接起来
def concat_fun(inputs, axis=-1):
if len(inputs) == 1:
return inputs[0]
else:
return tf.keras.layers.Concatenate(axis=axis)(inputs)
3、tf.contrib.layers.linear简介与实例
目前tf.contrib.layers.linear已经被替换为tf.contrib.layers.fully_connected函数。
函数输入
tf.contrib.layers.linear(
inputs, num_outputs, *, activation_fn=None, normalizer_fn=None,
normalizer_params=None, weights_initializer=._initializer,
weights_regularizer=None,
biases_initializer=,
biases_regularizer=None, reuse=None, variables_collections=None,
outputs_collections=None, trainable=True, scope=None
)
tf.contrib.layers.linear - TensorFlow 1.15 - W3cubDocs (来源,看上去和fully_connected一致)
import tensorflow as tf
x = tf.get_variable('x', shape=[2,3], initializer=tf.constant_initializer(1))
y1 = tf.contrib.layers.fully_connected(x,2,weights_initializer=tf.contrib.layers.xavier_initializer(seed=1)) #默认为rule激活函数,所以输出会是0
y2 = tf.contrib.layers.linear(x,2,weights_initializer=tf.contrib.layers.xavier_initializer(seed=1))
y3 = tf.contrib.layers.fully_connected(x,2,weights_initializer=tf.contrib.layers.xavier_initializer(seed=1), activation_fn=None) #activation_fn=None等价于线性函数
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run(y1))
print(sess.run(y2))
print(sess.run(y3))
输出
[[-0. -0.]
[-0. -0.]]
[[-0.8214258 -0.12572539]
[-0.8214258 -0.12572539]]
[[-0.8214258 -0.12572539]
[-0.8214258 -0.12572539]]
4、参考文档
tf.contrib.layers.fully_connected和tf.contrib.layers.linear_得克特的博客-CSDN博客 (fully_connected与linear比较)
tf.contrib.layers.xavier_initializer函数用法_麻木的程序猿的博客-CSDN博客
tensorflow/layers.py at r1.8 · tensorflow/tensorflow · GitHub (tf.contrib.layers的一些具体实现)
Tensorflow API tf.contrib.layers.linear() 用法_LeeTioN的博客-CSDN博客