基于tf1.x的feature_columns相关特征处理方法到tf2.x时的迁移

最新推荐文章于 2023-02-02 16:07:02 发布
最新推荐文章于 2023-02-02 16:07:02 发布
阅读量267 收藏
点赞数 1
分类专栏： tensorflow2.x 推荐 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sslfk/article/details/124397662
版权

下表是对应的特征处理表逻辑：keras layer中对应的处理类更加直接易于理解。 

例如连续性数字的离散化处理layers.Discretization

字符型或无大小关系的hash桶化：layers.Hashing

字符串的数字化编码处理：layers.StringLookup

数字类型（无大小区分）数据的数字化编码：layers.IntegerLookup

上面三个可以将输入统一化为one_hot、multi_hot或integer

对于integer形式，可以再通过使用layers.CategoryEncoding实现指定维度的映射变换（可训练）

Feature ColumnKeras Layer
feature_column.bucketized_columnlayers.Discretization
feature_column.categorical_column_with_hash_bucketlayers.Hashing
feature_column.categorical_column_with_identitylayers.CategoryEncoding
feature_column.categorical_column_with_vocabulary_filelayers.StringLookup or layers.IntegerLookup
feature_column.categorical_column_with_vocabulary_listlayers.StringLookup or layers.IntegerLookup
feature_column.crossed_columnlayers.experimental.preprocessing.HashedCrossing
feature_column.embedding_columnlayers.Embedding
feature_column.indicator_columnoutput_mode='one_hot' or output_mode='multi_hot'*
feature_column.numeric_columnlayers.Normalization
feature_column.sequence_categorical_column_with_hash_bucketlayers.Hashing
feature_column.sequence_categorical_column_with_identitylayers.CategoryEncoding
feature_column.sequence_categorical_column_with_vocabulary_filelayers.StringLookup, layers.IntegerLookup, or layer.TextVectorization†
feature_column.sequence_categorical_column_with_vocabulary_listlayers.StringLookup, layers.IntegerLookup, or layer.TextVectorization†
feature_column.sequence_numeric_columnlayers.Normalization
feature_column.weighted_categorical_columnlayers.CategoryEncoding

参考：Migrating feature_columns to TF2's Keras Preprocessing Layers  |  TensorFlow Core 

会发paper的学渣
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
从零基础开始Pton处理x.cl数据，pftoof码类资源
06-11
selected_columns = df[['column1', 'column2']] # 过滤行（假设列'condition_column'满足特定条件） filtered_data = df[df['condition_column'] > some_value] # 添加新列 df['new_column'] = df['column1'] + ...
keras.layers.StringLookup 层介绍
sslfk的博客
03-28 3522
StringLookup可以返回indices编码，onehot编码，multihot编码；逆转编码
tensorflow2.x中字符串wordenbedding的方式
sslfk的博客
12-16 1620
字符串如何embedding
【feature_column处理】- categorical_column_with_hash_bucket哈希列
DataAlgo
11-24 1492
categorical_column_with_hash_bucket哈希列，对于处理包含大量文字或数字类别的特征时可使用hash的方式，这能快速地建立对应的对照表 分桶的方式，但这次分桶是根据hash的方式在有限的长度进行划分 1. 比如： 我们有120个单词，我们只希望分成100个类别，这个时候多出的20个怎么来划分？ 101: 101 % 100 = 1 标记1 —> 和1一个桶 102： 102 % 100 = 2 标记2 —> 和2一个桶 … 120： 120 % 10
tf.keras.layers.Embedding实现共享embedding
ustbbsy的博客
06-15 2429
使用feature_column可以非常方便的实现 tf.feature_column.shared_embedding_columns(shared_column_list, iembedding_size)
tf.keras.layers.Embedding() 详解
qq_42018521的博客
02-02 2860
输入：二维张量：(batch_size, input_length)。 输出：3D 张量：(batch_size, input_length, output_dim)。
w_pub_get_sort_columns.rar_PowerBuilder_pb 控件
09-20
5. 应用排序：调用DataWindow对象的相关方法，如`SetSort()`，来应用新的排序规则。 6. 刷新显示：最后，更新DataWindow的显示，以反映新的排序结果。 在压缩包中，我们看到只有一个名为“w_pub_get_sort_columns....
matlabmatrix.rar_4 3 2 1_Fibonacci
07-14
1) Write a function reverse(A) which takes a matrix A of arbitrary dimensions as input and returns a matrix B consisting of the columns of A in reverse order. Thus for example, if A = 1 2 3 then B = ...
vue-easytable-基于Vue2.x的功能强大的表组件-Vue.js开发
05-27
vue-easytable 切换中文 Introduction Based on vue2.x flexible table components. API & Examples(如果访问不了说明被墙了，我也很无奈......) API&Examples Features Adaptive, you vue-easytable 切换中文 ...
add_columns.txt
05-27
mysql_add_columns mysql在一个表中添加记录动态在另一表中添加列。
Pandas数据处理（一）
EmithFla的博客
09-07 1350
Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。 特有的数据结构是 Pandas 的优势和核心。我们可以将任意格式的数据转换为 Pandas 的数据类型，并使用 Pandas 提供的一系列方法进行转换、操作，最终得到我们期望的结果。 数据读取 df = pd.read_csv("文件名.csv") df Pandas 提供了 head() 和 ta.
keras.layers.Embedding层介绍
sslfk的博客
03-28 4536
本层应用，就是把稀疏矩阵变成一个密集矩阵，也称为查表，因为他们之间是一个一一映射关系。与其对应的是one-hot编码，multi-hot编码，对于特征维度过大的应用，直接使用会造成维度灾难。 Embedding层本质也是一个映射，不过不是映射为on-hot编码，而是映射为一个指定维度的向量，该向量是一个变量，通过学习寻找到最优值；此过程类似word2vec的原理。 而通常输入的特征都是字符串，所以在映射之前先转化为数字，也就是StringLookup对应的count模式所做的事情。 使用方式如下：
keras layers笔记
allen的博客
09-30 3274
文章目录base`Layer.get_weights()`:Returns the current weights of the layer`Layer.set_weights(weights)`: Sets the weights of the layer, from Numpy arrays.`Model.get_config()`: config of the layer`Layer.add_loss(losses, **kwargs)`: Add loss tensor(s), potentiall
深度学习框架Keras使用心得
热门推荐
xjcvip007的博客
10-12 4万+
最近几个月为了写小论文，题目是关于用深度学习做人脸检索的，所以需要选择一款合适的深度学习框架，caffe我学完以后感觉使用不是很方便，之后有人向我推荐了Keras，其简单的风格吸引了我，之后的四个月我都一直在使用Keras框架，由于我用的时候，tensorflow的相关教程还不是很多，所以后端我使用theano。这次的心得主要分成两篇，第一篇是聊聊开始使用keras容易遇到的坑，第二篇会在我论文发了之后，连同代
这是一篇价值1500的文章：tensorflow2.0 feature_columns 如何输入到keras 功能性模型（funtional api）
anavanab99的博客
05-28 441
这是一篇价值1500的文章：tensorflow2.0 feature_columns 如何输入到keras 功能性模型（funtional api） 因为一开始这个问题解决不了，找谋宝代做，（只是要个案例而已哦，代码已经写好的那种哦）居然要价1500！还说什么博士，要研究很久，还说解决了很多次同样的问题（为了给广大码农省下宝贵的1500，特意开这个帖子）给钱是不可能给钱的，所以自己谷歌解决了，总共改了就三句 其实关键就在于特征列后面要添加一个输入层，添加后feature_layer_inputs[‘
TensorFlow系列——feature_column特征工具说明
有信念，才能走的更远
05-16 2959
一、一些工具 1、三种本地打印输出非序列sequence数据的feature_column转换后的值的方法 适用于TensorFlow1.x import tensorflow as tf from tensorflow.python.feature_column import feature_column_v2 as fc_v2 from tensorflow.python.feature_column import feature_column as fc # 注意：只有方式2会检查输入数据是否
Tensorflow 2.0 函数手册(非官方文档)
qq_35535616的博客
12-28 5318
Tensorflow 2.0 函数手册tensorflow.audiotensorflow.audio.decode_wavtensorflow.audio.encode_wavtensorflow.autographtensorflow.autograph.experimentaltensorflow.autograph.experimental.do_not_convert()tensorflow.autograph.experimental.set_loop_options()tensorflow.a
feature_column相关接口
u013385018的专栏
09-18 274
在TensorFlow中，特征列(Feature column)是原始数据和 Estimator 之间的接口，它告诉Estimator如何使用数据。 原始数据集包含各种各样的特征，有的特征是数值，比如年龄，长度、速度；有的特征是文字，比如，地址、Email内容、数据库查询语句等 神经网络接受的输入，只能是数值，而且是整理好的数值 所以，原始数据 和 神经网络输入需求之间需要一个桥梁，这个桥梁就是特征列(Feature column) 使用特征列可以将类别特征转换为one-hot编码特征，将.
c++数组中输入函数input怎么写_学习TensorFlow中有关特征工程的API
weixin_29823011的博客
01-17 689
用TensorFlow框架搭建神经网络已经是大众所知的事情。今天我们来聊一聊如何用TensorFlow 对数据进行特征工程处理。在TensorFlow中还有一些不被大家熟知的数据处理API。这些API与TensorFlow框架结合紧密，使用方便。用这些API做数据前期的特征处理，可以提高效率。一、接口介绍TensorFlow使用特征列接口来进行数据特征工程的处理。框架中一共包含有两个特征...
import tensorflow.compat.v1 as tf tf.disable_v2_behavior() def get_optimized_results(X_train_scaled,X_test_scaled, y_train,y_test,key="imp_real"): feature_columns = [tf.feature_column.numeric_column('x', shape=X_train_scaled.shape[1:])] train_input = tf.estimator.inputs.numpy_input_fn( x={"x": X_train_scaled}, y=y_train[key], batch_size=50, shuffle=False, num_epochs=None) eval_input = tf.estimator.inputs.numpy_input_fn( x={"x": X_test_scaled}, y=y_test[key], shuffle=False, batch_size=X_test_scaled.shape[0], num_epochs=1) estimator_improve = tf.estimator.DNNRegressor( feature_columns=feature_columns, hidden_units=[300, 100], dropout=0.3, # 1 optimizer=tf.train.ProximalAdagradOptimizer( # 2 learning_rate=0.01, # 3 l1_regularization_strength=0.01, # 4 l2_regularization_strength=0.01) # 5 ) estimator_improve.train(input_fn=train_input,steps=1000) # steps results_generator = estimator_improve.predict(eval_input) results = [result["predictions"][0] for result in results_generator] return results
最新发布
04-23
函数中使用了TensorFlow的一些功能，例如feature_column来定义特征列，estimator来创建模型实例，inputs来生成模型输入数据等。其中，函数接收训练集和测试集的特征和目标数据，并使用DNNRegressor作为模型，并进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值