Google TensorFlow课程编程笔记（4）———特征集

最新推荐文章于 2023-06-04 10:15:00 发布

latioas

最新推荐文章于 2023-06-04 10:15:00 发布

阅读量669

点赞数

分类专栏： TensorFlow 文章标签：机器学习 TensorFlow

本文链接：https://blog.csdn.net/latioas/article/details/80227521

版权

本文探讨如何在TensorFlow中创建一个高效特征集，即使特征数量很少，也能达到与全特征模型相当的性能。通过分析皮尔逊相关系数、线性回归模型的训练与验证，以及特征选择和合成，展示了如何改善模型效果。同时，文章解答了关于zip函数和分桶操作的问题，并提供了进一步的编程练习链接。

摘要由CSDN通过智能技术生成

特征集

学习目标：创建一个包含极少特征但效果与更复杂的特征集一样出色的集合。

到目前为止，我们已经将所有特征添加到了模型中。具有较少特征的模型会使用较少的资源，并且更易于维护。我们来看看能否构建这样一种模型：包含极少的住房特征，但效果与使用数据集中所有特征的模型一样出色。

第1步：设置：加载必要的库+加载数据+数据预处理

import math

from IPython import display
from matplotlib import cm
from matplotlib import gridspec
from matplotlib import pyplot as plt
import numpy as np
import pandas as pd
from sklearn import metrics
import tensorflow as tf
from tensorflow.python.data import Dataset

tf.logging.set_verbosity(tf.logging.ERROR)
pd.options.display.max_rows = 10
pd.options.display.float_format = '{:.1f}'.format

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")

#打乱表格数据顺序，这是一个极其重要的步骤！
california_housing_dataframe = california_housing_dataframe.reindex(
    np.random.permutation(california_housing_dataframe.index))

def preprocess_features(california_housing_dataframe):
    #加州房价表的信息载入预处理特征
    
  selected_features = california_housing_dataframe[
    ["latitude",
     "longitude",
     "housing_median_age",
     "total_rooms",
     "total_bedrooms",
     "population",
     "households",
     "median_income"]]
  processed_features = selected_features.copy()
  # Create a synthetic feature.
  processed_features["rooms_per_person"] = (
    california_housing_dataframe["total_rooms"] /
    california_housing_dataframe["population"])
  return processed_features

def preprocess_targets(california_housing_dataframe):
  #预处理目标
  output_targets = pd.DataFrame()
  # Scale the target to be in units of thousands of dollars.
  output_targets["median_house_value"] = (
    california_housing_dataframe["median_house_value"] / 1000.0)
  return output_targets

第2步：预览检查数据

#预览数据
# Choose the first 12000 (out of 17000) examples for training.
training_examples = preprocess_features(california_housing_dataframe.head(12000))
training_targets = preprocess_targets(california_housing_dataframe.head(12000))

# Choose the last 5000 (out of 17000) examples for validation.
validation_examples = preprocess_features(california_housing_dataframe.tail(5000))
validation_targets = preprocess_targets(california_housing_dataframe.tail(5000))

# Double-check that we've done the right thing.
print "Training examples summary:"
display.display(training_examples.describe())
print "Validation examples summary:"
display.display(validation_examples.describe())

print "Training targets summary:"
display.display(training_targets.describe())
print "Validation targets summary:"
display.display(validation_targets.describe())