在TensorFlow中,特征列(Feature column)是原始数据和 Estimator 之间的接口,它告诉Estimator如何使用数据。
原始数据集包含各种各样的特征,有的特征是数值,比如年龄,长度、速度;有的特征是文字,比如,地址、Email内容、数据库查询语句等
神经网络接受的输入,只能是数值,而且是整理好的数值
所以,原始数据 和 神经网络输入需求之间需要一个桥梁,这个桥梁就是特征列(Feature column)
-
使用特征列可以将类别特征转换为
one-hot
编码特征,将连续特征构建分桶特征,以及对多个特征生成交叉特征等等。 -
要创建特征列,请调用
tf.feature_column
模块的函数。该模块中常用的九个函数如下图所示,所有九个函数都会返回一个Categorical-Column
或一个Dense-Column
对象,但却不会返回bucketized_column
,后者继承自这两个类。 -
注意:所有的
Catogorical Column
类型最终都要通过indicator_column
转换成Dense Column
类型才能传入DNN模型!
要创建特征列,需要调用 tf.feature_column 模块的函数。TensorFlow V1.8的特征列有八种,对应9个函数分别是:
1,数值列(tf.feature_column.numeric_column)
2,分桶列(tf.feature_column.bucketized_column)
3,分类标识列(tf.feature_column.categorical_column_with_identity)
4,分类词汇列(tf.feature_column.categorical_column_with_vocabulary_list 或者 tf.feature_column.categorical_column_with_vocabulary_file)
5,经过哈希处理的列(tf.feature_column.categorical_column_with_hash_bucket)
6,组合列(tf.feature_column.crossed_column)
7,指标列(tf.feature_column.indicator_column)
8,嵌入列(tf.feature_column.embedding_column)
将特征列传递给 Estimator的注意事项:
下面的列表所示,并非所有 Estimator 都支持所有类型的 feature_columns 参数:
1,LinearClassifier 和 LinearRegressor:接受所有类型的特征列。
2,DNNClassifier 和 DNNRegressor:只接受密集列。其他类型的列必须封装在 indicator_column 或 embedding_column 中。
3,DNNLinearCombinedClassifier 和 DNNLinearCombinedRegressor:
a). linear_feature_columns 参数接受任何特征列类型。
b). dnn_feature_columns 参数只接受密集列。
categorical_column_with_vocabulary_list
import tensorflow as tf
pets = {'pets': ['rabbit','pig','dog','mouse','cat']}
column = tf.feature_column.categorical_column_with_vocabulary_list(
key='pets',
vocabulary_list=['cat','dog','rabbit','pig'],
dtype=tf.string,
default_value=-1,
num_oov_buckets=3)
indicator = tf.feature_column.indicator_column(column)
tensor = tf.feature_column.input_layer(pets, [indicator])
with tf.Session() as session:
session.run(tf.global_variables_initializer())
session.run(tf.tables_initializer())
print(session.run([tensor]))
参考文献
这个文献写的特别好
tensorflow踩坑合集1. feature_column - 风雨中的小七 - 博客园踩坑内容包含以下 feature_column的输入输出类型,用一个数据集给出demo feature_column接estimator feature_column接Keras feature_cohttps://www.cnblogs.com/gogoSandy/p/12435372.html学习TensorFlow中有关特征工程的API - 云+社区 - 腾讯云用TensorFlow框架搭建神经网络已经是大众所知的事情。今天我们来聊一聊如何用TensorFlow 对数据进行特征工程处理。https://cloud.tencent.com/developer/article/1467606
tensorflow2.x学习笔记二十:特征列feature_column - 灰信网(软件开发博客聚合)https://www.freesion.com/article/2669486257/【1024 程序员节快乐】TensorFlow 特征工程: feature_column今天是1024程序员节,祝所有程序员美梦成真,永无Bug!\x0a\x0a在使用很多模型的时候,都需要对输入的数据进行必要的特征工程处理。最典型的就是:one-hot处理、hash分桶等处理。而tensorflow提供了一些列的特征工程方法来方便使用https://mp.weixin.qq.com/s/lYFRuw0V67QTbY5ytTCBaA