Tensorflow-estimator_1.featurecolumn以及estimator的使用

最新推荐文章于 2022-01-31 14:31:51 发布
最新推荐文章于 2022-01-31 14:31:51 发布
阅读量339 收藏
点赞数
分类专栏： Tensorflow2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45391763/article/details/103589360
版权
本文深入探讨了TensorFlow Estimator框架及其与FeatureColumn的配合使用。通过实例解析，展示了如何利用Estimator进行模型训练和评估，同时详细介绍了FeatureColumn在特征工程中的重要作用，帮助读者掌握在TensorFlow中构建高效机器学习模型的关键技巧。
摘要由CSDN通过智能技术生成 
"""
@author: khoing
@contact: Khoing@126.com
@time: 2019/12/16 16:58
@file: tf_keras_to_estimator.py
"""


import matplotlib as mpl  # Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用

import matplotlib.pyplot as plt  # Python数据可视化matplotlib.pyplot

# %matplotlib inline #在使用jupyter notebook 或者 jupyter qtconsole的时候，经常会用到%matplotlib inline。其作用就是在你调用plot()进行画图或者直接输入Figure的实例对象的时候，会自动的显示并把figure嵌入到console中。

import numpy as np  # 数值计算扩展。这种工具可用来存储和处理大型矩阵

import sklearn  # 机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Clustering)等方法。

import pandas as pd  # 是python的一个数据分析包
import os  # 系统编程的操作模块，可以处理文件和目录
import sys  # sys模块包含了与Python解释器和它的环境有关的函数
import time
import tensorflow as tf

from tensorflow import keras

##################################################################################################
# 选择GPU
os.environ["CUDA_VISIBLE_DEVICES"] = "0"

##################################################################################################

print(tf.__version__)
print(sys.version_info)
for module in mpl, np, pd, sklearn, tf, keras:
    print(module.__name__, module.__version__)

"""output:
    2.0.0
    sys.version_info(major=3, minor=7, micro=4, releaselevel='final', serial=0)
    matplotlib 3.1.1
    numpy 1.16.5
    pandas 0.25.3
    sklearn 0.21.3
    tensorflow 2.0.0
    tensorflow_core.keras 2.2.4-tf
"""

##################################################################################################
train_file = "./data/train.csv" #训练集
eval_file = "./data/eval.csv" #测试集

#pandas有读取csv的api
train_df = pd.read_csv(train_file)
eval_df = pd.read_csv(eval_file)

print(train_df.head())
print(eval_df.head())

"""output:
       survived     sex   age  ...     deck  embark_town  alone
    0         0    male  22.0  ...  unknown  Southampton      n
    1         1  female  38.0  ...        C    Cherbourg      n
    2         1  female  26.0  ...  unknown  Southampton      y
    3         1  female  35.0  ...        C  Southampton      n
    4         0    male  28.0  ...  unknown   Queenstown      y
    
    [5 rows x 10 columns]
    
    
       survived     sex   age  ...     deck  embark_town  alone
    0         0    male  35.0  ...  unknown  Southampton      y
    1         0    male  54.0  ...        E  Southampton      y
    2         1  female  58.0  ...        C  Southampton      y
    3         1  female  55.0  ...  unknown  Southampton      y
    4         1    male  34.0  ...        D  Southampton      y
    
    [5 rows x 10 columns]

"""


#把survived取出来，当作预测值
y_train = train_df.pop('survived')
y_eval = eval_df.pop('survived')

print(train_df.head())
print(eval_df.head())

"""output:
          sex   age  n_siblings_spouses  parch  ...  class     deck  embark_town alone
    0    male  22.0                   1      0  ...  Third  unknown  Southampton     n
    1  female  38.0                   1      0  ...  First        C    Cherbourg     n
    2  female  26.0                   0      0  ...  Third  unknown  Southampton     y
    3  female  35.0                   1      0  ...  First        C  Southampton     n
    4    male  28.0                   0      0  ...  Third  unknown   Queenstown     y
    
    [5 rows x 9 columns]
          sex   age  n_siblings_spouses  parch  ...   class     deck  embark_town alone
    0    male  35.0                   0      0  ...   Third  unknown  Southampton     y
    1    male  54.0                   0      0  ...   First        E  Southampton     y
    2  female  58.0                   0      0  ...   First        C  Southampton     y
    3  female  55.0                   0      0  ...  Second  unknown  Southampton     y
    4    male  34.0                   0      0  ...  Second        D  Southampton     y
    
    [5 rows x 9 columns]
"""
print(y_train.head())
print(y_eval.head())
"""output:
    0    0
    1    1
    2    1
    3    1
    4    0
    Name: survived, dtype: int64
    0    0
    1    0
    2    1
    3    1
    4    1
    Name: survived, dtype: int64    
"""

#pandas可以容易的看到数据的统计量
print(train_df.describe())
"""output:
                  age  n_siblings_spouses       parch        fare
    count  627.000000          627.000000  627.000000  627.000000
    mean    29.631308            0.545455    0.379585   34.385399
    std     12.511818            1.151090    0.792999   54.597730
    min      0.750000            0.000000    0.000000    0.000000
    25%     23.000000            0.000000    0.000000    7.895800   #低于25%的值
    50%     28.000000            0.000000    0.000000   15.045800   #低于50%的值
    75%     35.000000            1.000000    0.000000   31.387500   #低于75%的值
    max     80.000000            8.000000    5.000000  512.329200
"""
print(train_df.shape , eval_df.shape)
"""output:
    (627, 9) (264, 9)
"""

# 分成20份（有20个柱形）
# train_df.age.hist(bins = 20) ipython中只需这一句就能直接显示直方图

plt.hist(train_df.age , 20)
plt.show()

#plot函数用来绘制二维图像。

##################################################################################################
# 离散特征，连续特征
# 训练模型时，而离散特征需要OneHot编码返回一个向量

#离散型特征
categoryical_columns = ['sex','n_siblings_spouses','parch','class','deck','embark_town','alone']
#连续型特征
numerical_columns = ['age','fare']

feature_columns = []
for categoryical_column in categoryical_columns:
    vocab = train_df[categoryical_column].unique()#离散型特征的个数（有多少类）
    #print(tf.feature_column.categorical_column_with_vocabulary_list(categoryical_column,vocab))#参数1：名字，参数 2：所有可能的值（sex，['male','female']
    """output:
        VocabularyListCategoricalColumn(key='sex', vocabulary_list=('male', 'female'), dtype=tf.string, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='n_siblings_spouses', vocabulary_list=(1, 0, 3, 4, 2, 5, 8), dtype=tf.int64, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='parch', vocabulary_list=(0, 1, 2, 5, 3, 4), dtype=tf.int64, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='class', vocabulary_list=('Third', 'First', 'Second'), dtype=tf.string, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='deck', vocabulary_list=('unknown', 'C', 'G', 'A', 'B', 'D', 'F', 'E'), dtype=tf.string, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='embark_town', vocabulary_list=('Southampton', 'Cherbourg', 'Queenstown', 'unknown'), dtype=tf.string, default_value=-1, num_oov_buckets=0)
        VocabularyListCategoricalColumn(key='alone', vocabulary_list=('n', 'y'), dtype=tf.string, default_value=-1, num_oov_buckets=0)
    """
    #转为ont-hot编码
    #print(tf.feature_column.indicator_column(tf.feature_column.categorical_column_with_vocabulary_list(categoryical_column, vocab)))
    """output:
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='sex', vocabulary_list=('male', 'female'), dtype=tf.string, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='n_siblings_spouses', vocabulary_list=(1, 0, 3, 4, 2, 5, 8), dtype=tf.int64, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='parch', vocabulary_list=(0, 1, 2, 5, 3, 4), dtype=tf.int64, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='class', vocabulary_list=('Third', 'First', 'Second'), dtype=tf.string, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='deck', vocabulary_list=('unknown', 'C', 'G', 'A', 'B', 'D', 'F', 'E'), dtype=tf.string, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='embark_town', vocabulary_list=('Southampton', 'Cherbourg', 'Queenstown', 'unknown'), dtype=tf.string, default_value=-1, num_oov_buckets=0))
        IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='alone', vocabulary_list=('n', 'y'), dtype=tf.string, default_value=-1, num_oov_buckets=0))
    """
    feature_columns.append(tf.feature_column.indicator_column(
        tf.feature_column.categorical_column_with_vocabulary_list(categoryical_column, vocab)))

print(feature_columns)

for numerical_column in numerical_columns:
    feature_columns.append(tf.feature_column.numeric_column(numerical_column,dtype=tf.float32))
print(feature_columns)

"""output:
    [IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='sex', vocabulary_list=('male', 'female'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='n_siblings_spouses', vocabulary_list=(1, 0, 3, 4, 2, 5, 8), dtype=tf.int64, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='parch', vocabulary_list=(0, 1, 2, 5, 3, 4), dtype=tf.int64, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='class', vocabulary_list=('Third', 'First', 'Second'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='deck', vocabulary_list=('unknown', 'C', 'G', 'A', 'B', 'D', 'F', 'E'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='embark_town', vocabulary_list=('Southampton', 'Cherbourg', 'Queenstown', 'unknown'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='alone', vocabulary_list=('n', 'y'), dtype=tf.string, default_value=-1, num_oov_buckets=0))]
    [IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='sex', vocabulary_list=('male', 'female'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='n_siblings_spouses', vocabulary_list=(1, 0, 3, 4, 2, 5, 8), dtype=tf.int64, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='parch', vocabulary_list=(0, 1, 2, 5, 3, 4), dtype=tf.int64, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='class', vocabulary_list=('Third', 'First', 'Second'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='deck', vocabulary_list=('unknown', 'C', 'G', 'A', 'B', 'D', 'F', 'E'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='embark_town', vocabulary_list=('Southampton', 'Cherbourg', 'Queenstown', 'unknown'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), IndicatorColumn(categorical_column=VocabularyListCategoricalColumn(key='alone', vocabulary_list=('n', 'y'), dtype=tf.string, default_value=-1, num_oov_buckets=0)), NumericColumn(key='age', shape=(1,), default_value=None, dtype=tf.float32, normalizer_fn=None), NumericColumn(key='fare', shape=(1,), default_value=None, dtype=tf.float32, normalizer_fn=None)]
    
"""

#print(train_df)
print((dict(train_df),y_train))

def make_dataset(data_df,label_df,epochs = 10, shuffle = True,batch_size = 32):
    dataset = tf.data.Dataset.from_tensor_slices((dict(data_df),label_df))
    if shuffle:
        dataset = dataset.shuffle(10000)
    dataset = dataset.repeat(epochs).batch(batch_size)
    return dataset

train_dataset = make_dataset(train_df,y_train,batch_size=5)
for x , y in train_dataset.take(1):
    print(x)
    print(y)
"""output:
        {'sex': <tf.Tensor: id=38, shape=(5,), dtype=string, numpy=array([b'female', b'male', b'male', b'female', b'male'], dtype=object)>,
         'age': <tf.Tensor: id=30, shape=(5,), dtype=float64, numpy=array([28., 28., 28., 28., 33.])>, 
         'n_siblings_spouses': <tf.Tensor: id=36, shape=(5,), dtype=int32, numpy=array([1, 0, 0, 0, 0])>, 
         'parch': <tf.Tensor: id=37, shape=(5,), dtype=int32, numpy=array([0, 0, 0, 0, 0])>, 
         'fare': <tf.Tensor: id=35, shape=(5,), dtype=float64, numpy=array([146.5208,  26.55  ,  31.    ,  33.    ,  12.275 ])>, 
         'class': <tf.Tensor: id=32, shape=(5,), dtype=string, numpy=array([b'First', b'First', b'First', b'Second', b'Second'], dtype=object)>, 
         'deck': <tf.Tensor: id=33, shape=(5,), dtype=string, numpy=array([b'B', b'C', b'unknown', b'unknown', b'unknown'], dtype=object)>, 
         'embark_town': <tf.Tensor: id=34, shape=(5,), dtype=string, numpy=array([b'Cherbourg', b'Southampton', b'Southampton', b'Southampton',b'Southampton'], dtype=object)>,
        'alone': <tf.Tensor: id=31, shape=(5,), dtype=string, numpy=array([b'n', b'y', b'y', b'y', b'y'], dtype=object)>}
               
        tf.Tensor([1 0 0 1 0], shape=(5,), dtype=int32)
"""

#DenseFeature 可以将定义的featureColumn应用到dataset中

for x , y in train_dataset.take(1):
    age_column = feature_columns[7]
    gender_column = feature_columns[0]
    print(keras.layers.DenseFeatures(age_column)(x))
    print(keras.layers.DenseFeatures(gender_column)(x))
    print(keras.layers.DenseFeatures(age_column)(x).numpy())
    print(keras.layers.DenseFeatures(gender_column)(x).numpy())
    print(y)


"""output:
    tf.Tensor(
    [[18.]
     [29.]
     [27.]
     [20.]
     [60.]], shape=(5, 1), dtype=float32)
     
     tf.Tensor(
    [[0. 1.]
     [1. 0.]
     [1. 0.]
     [1. 0.]
     [0. 1.]], shape=(5, 2), dtype=float32)
     
    [[18.]
     [29.]
     [27.]
     [20.]
     [60.]]
     
    [[0. 1.]
     [1. 0.]
     [1. 0.]
     [1. 0.]
     [0. 1.]]
     
     tf.Tensor([0 1 0 0 0], shape=(5,), dtype=int32)

"""
for x , y in train_dataset.take(1):
    print(keras.layers.DenseFeatures(feature_columns)(x).numpy())
"""output:

[[ 6.      1.      0.      0.      0.      1.      1.      0.      0.
   0.      0.      0.      0.      0.      1.      0.      0.      0.
  33.      0.      1.      0.      0.      0.      0.      0.      0.
   1.      0.      0.      0.      0.      0.      1.    ]
 [28.      0.      1.      1.      0.      0.      1.      0.      0.
   0.      0.      0.      0.      0.      0.      0.      1.      0.
   7.7875  0.      1.      0.      0.      0.      0.      0.      1.
   0.      0.      0.      0.      0.      0.      1.    ]
 [28.      0.      1.      0.      0.      1.      1.      0.      0.
   0.      0.      0.      0.      0.      1.      0.      0.      0.
   0.      0.      1.      0.      0.      0.      0.      0.      1.
   0.      0.      0.      0.      0.      1.      0.    ]
 [45.      1.      0.      1.      0.      0.      1.      0.      0.
   0.      0.      0.      0.      0.      0.      1.      0.      0.
  14.4542  0.      1.      0.      0.      0.      0.      0.      0.
   1.      0.      0.      0.      0.      0.      1.    ]
 [28.      0.      1.      0.      0.      1.      1.      0.      0.
   0.      0.      0.      0.      0.      1.      0.      0.      0.
   0.      0.      1.      0.      0.      0.      0.      0.      1.
   0.      0.      0.      0.      0.      1.      0.    ]]
"""

########################################################################################
model = keras.models.Sequential([
    keras.layers.DenseFeatures(feature_columns),
    keras.layers.Dense(100,activation='relu'),
    keras.layers.Dense(100,activation='relu'),
    keras.layers.Dense(2,activation='softmax'),

])

model.compile(loss = 'sparse_categorical_crossentropy',
                 optimizer = keras.optimizers.SGD(lr = 0.01),
              metrics = ['accuracy']
               )

#两种方法训练模型
#model.fit 训练模型
train_dataset = make_dataset(train_df,y_train,epochs=100)
eval_dataset = make_dataset(eval_df,y_eval,epochs=100)
history = model.fit(train_dataset,validation_data = eval_dataset,steps_per_epoch = 627//32,validation_steps = 264//32,epochs = 100)

#model 转成estimator，然后再训练模型
estimator = keras.estimator.model_to_estimator(model)
estimator.train(input_fn  = lambda :make_dataset(train_df,y_train,epochs=100) )#input_fn要求时没有参数的返回值为1：(features,labels)组成的列表、 元组、numpy数组，2dateset（但是其中必须是（features，labels））
一定要学好JAVA
关注
专栏目录
tensorflow-1.15-v10.tar.gz
05-20
此外，TensorFlow 1.15还支持数据集的处理，例如MNIST、CIFAR-10等，以及模型的保存和恢复，便于训练过程的中断和继续，以及模型的部署。它还集成了TensorBoard，这是一个可视化工具，可以帮助开发者监控训练过程，...
Tensorflow学习—— Estimator简介
weixin_39506322的博客
12-18 1086
本文档介绍了 Estimator - 一种可极大地简化机器学习编程的高阶 TensorFlow API。Estimator 会封装下列操作： 训练 评估 预测 导出以供使用 您可以使用我们提供的预创建的 Estimator，也可以编写自定义 Estimator。所有 Estimator（无论是预创建的还是自定义）都是基于 tf.estimator.Estimator 类的类。 注意...
tf custom estimator 与 feature column
yichudu
03-14 1746
简介 官方 github 源文件例子见参考[2] . 不同的神经网络是有共性的, 阶段上分train,eval,pred, 数据上分feature,label,batch_size, 所以官方提倡围绕 Estimator 类来编码, 整个程序由train_input_fn+Feature Columns+ my_model_fn 构成, 风格统一了, 就方便维护与多人交流. train_in...
TensorFlow Estimator 官方文档之----Feature column
黑暗星球
10-11 1万+
这个文档详细介绍了特征列（feature columns）的详情。可以将特征列看做raw data和Estimators间的介质。特征列非常丰富，使您可以将各种原始数据转换为Estimators可用的格式，从而可以轻松进行实验。 在内置Estimators部分的教程中，我们训练了一个tf.estimator.DNNClassifier去完成Iris花的分类任务。在该例子中，我们只使用了numeri...
TensorFlow 特征工程: feature_column
Thinkgamer博客
01-03 4045
转载请注明出处：http://blog.csdn.net/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 特征工程: feature_column 在使用很多模型的时候，都需要对输入的数据进行必要的特征工程处理。最典型的就是:one-hot处理，还有hash分桶等处理。为...
Tensorflow-Estimator-自定义估算器
Hym_eric的博客
11-17 1028
转载：https://www.jianshu.com/p/5495f87107e7 这篇文章介绍自定义一个估算器（分类器）Estimator的完整流程。 请先参照鸢尾花iris案例并完成练习。 自定义Custom Estimator和预制Pre-made Estimator 在上面iris的案例中我们使用了tensorflow里面自带的深度神经网络分类器tf.estimator.DNNCla...
PX4-position_estimator_inav.cpp
03-15
PX4-position_estimator_inav.cpp文件包含了PX4系统中惯性导航辅助（iNav）高度估计模块的实现细节。 首先，我们讨论为什么需要算法进行高度估计。在飞行控制中，高度估计对于飞行器的安全与性能至关重要。传统的...
attitude_estimator_q.rar_AttitudeEstimatorQ_PX4 姿态_attitude_esti
09-23
在`attitude_estimator_q_params.c`文件中，我们可以找到该模块的参数定义。这些参数包括传感器的校准参数、滤波器的权重分配以及融合策略等。例如，参数可能包括陀螺仪的噪声密度、加速度计的偏置稳定性等。调整...
tensorflow_cpu-2.1.0-cp36-cp36m-win_amd64.zip
03-01
1. **TensorFlow 2.x 版本**：从2.0开始，TensorFlow引入了重大更新，包括默认的Eager Execution，简化API，以及更好的兼容性。2.1.0版本在2.0的基础上进行了一些改进和错误修复，确保稳定性和性能。 2. **CPU支持*...
tensorflow_cpu_estimator-1.15.1-py2.py3-none-any.whl
最新发布
03-23
TensorFlow的核心是使用数据流图来表示计算。在数据流图中，节点表示在数据上执行的操作，而图中的边表示在操作之间流动的数据。这种表示法允许TensorFlow有效地执行并行计算，并且可以在不同的硬件平台上高效运行。...
Tensorflow 利用高阶API Estimater.predict 实现实时预测，避免reload计算图
Eason的博客
12-18 1万+
Estimater.predict是tensorflow的高阶API，但是在使用中常常会遇到如下情况： 单次预测一个大文件的速度正常，但是想做成接口来实时预测速度却缓慢：因为每次预测都会重新reload一遍计算图。 那么这个问题是否有解呢？答案：yes。可以在Estimater的层面，实现tensorflow Estimater.predict 的实时预测，将计算图只读取一遍后常驻内存（这里吐槽一...
TensorFlow Estimator 教程之----快速入门
热门推荐
黑暗星球
09-04 1万+
本篇将介绍 TensorFlow 中的 Estimators ———- 一个可以极大地简化机器学习编程的高级别 API。Estimators 中封装了以下几部分： 训练（training） 评估（evaluation） 预测（prediction） 输出模型（export for serving） 我们既可以使用内置 Estimator，也可以编写自定义 Estimator。 注意...
tensorflow estimator详细介绍，实现模型的高效训练
sgyuanshi的博客
05-26 6008
estimator是tensorflow高度封装的一个类，里面有一些可以直接使用的分类和回归模型，例如tf.estimator.DNNClassifier，但这不是这篇博客的主题，而是怎么使用estimator来实现我们自定义模型的训练。它的步骤主要分为以下几个部分： 构建model_fn，在这个方法里面定义自己的模型以及训练和测试过程要做的事情； 构建input_fn，在这个方法数据的来源和喂...
tensorflow estimator使用总结
未来战警
05-24 7887
最近在使用estimator做项目，发现 官网 对 这个 estimator整体的讲解 和使用 过程中的细节讲的比较少，结合 我是用过程中的问题，对 estimator的使用步骤进行了总结，如下:代码 见github，求star~~ 1. estimator主要需要model_fn，input_fn 以及 serving_fn 2. model_fn主要是是用来定义model ,input_...
tensorflow基础之——tf.feature_column, tf.estimator, pre_estimator
zhao_crystal的博客
01-31 2263
import tensorflow as tf from tensorflow import keras import pandas as pd import pprint train_file = '/content/drive/MyDrive/data/titanic/train.csv' eval_file = '/content/drive/MyDrive/data/titanic/eval.csv' train_d
TensorFlow系列——在estimator中使用feature_column处理tfrecord特征
有信念，才能走的更远
05-12 555
一、用于接口——现有的estimator模型 1、读取tfrecord数据 1.1、tfrecord中包含所有特征情况 feature_schema = { # 包含了tfrecord里的所有特征，包括标签label "sex": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64), "age": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64) } # train_files就
tensorflow之 feature_column + pre-made estimator组合实战
u012762419的博客
05-25 1141
最近在学习tensorflow v2，以前接触过v1版本，写起来很费劲，v2比v1容易上手。我看网上比较推荐的是feature_coumn + estimator这套"组合拳",借此我们可以快速搭建现有成熟模型做实验，当然也可以用户生产环境。以下是演示代码，如有不妥之处敬请执政，不胜感激。 import numpy as np import pandas as pd from sklearn.utils import shuffle from matplotlib import pyplot as plt
TensorFlow feature_column包详解
止鱼
08-17 2180
1. 背景 tf.estimator是tensorflow的一个高级API接口，它最大的特点在于兼容分布式和单机两种场景，工程师可以在同一套代码结构下即实现单机训练也可以实现分布式训练，正是因为这样的特点，目前包括阿里在内的很多公司都在使用这一接口来构建自己的深度学习模型。 特征预处理是几乎所有机器学习模型所必须的一个过程，常见的特征预处理方法包括：连续变量分箱化、离散变量one-hot、离散指标embedding等，tensorflow给我们提供了一个功能强大的特征处理函数tf.feature_colum
tensorflow feature_column详解
未来战警
06-03 1万+
关于 feature_column官网说的 还比较少，其它说明 大多数 都是 直接 翻译 官网解释，很明显，达不到效果，现在 对feature_column进行说明，更详细的说明，可以参照github： https://github.com/AlbertBJ/tensorflow-summary 此外，我还对 estimator进行了总结 以及 如何使用的 例子，github: https:...
AttributeError: module 'tensorflow_estimator.python.estimator.api._v1.estimator' has no attribute 'lookup'
09-27
1. 首先，确保您使用的是最新版本的tensorflow和tensorflow_estimator。可以通过执行以下命令来更新： ``` pip install --upgrade tensorflow pip install --upgrade tensorflow_estimator ``` 2. 如果更新...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值