tf2.0-CSV文件的生成及使用方法

tf2.0-CSV文件的生成及使用方法

一、数据集选择


测试数据集选择使用California房价预测数据集
下载方法:

from sklearn.datasets import fetch_california_housing
housing = fetch_california_housing()

数据形式为每八个特征对应一条房价

之后对数据进行数据集分割以及归一化处理:

from sklearn.model_selection import train_test_split
train_x_all, test_x, train_y_all, test_y = train_test_split(housing.data, housing.target, random_state=5)
train_x, valid_x, train_y, valid_y = train_test_split(train_x_all, train_y_all, random_state=8)
print(train_x.shape, test_x.shape, valid_x.shape)
print(train_y.shape, test_y.shape, valid_y.shape)
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
x_train_scaled = scaler.fit_transform(train_x)
x_valid_scaled = scaler.transform(valid_x)
x_test_scaled = scaler.transform(test_x)

二、将房价数据导出为CSV格式


在这里我们希望将每一条数据的特征以及房价信息合并为一条数据储存在csv文件中,将train_data, test_data,valid_data均分别存储在多个csv文件中:

output_dir = "generate_csv"
if not os.path.exists(output_dir):
  os.mkdir(output_dir)
# data:希望转化为csv的数据;name_prefix:train/valid/test
# header:一条数据中特征名称组成的字符串; n_parts:将data存储到n_parts个csv文件中
def save_to_csv(output_dir, data, name_prefix, header=None, n_parts=10):
  path_format = os.path.join(output_dir, "{}_{:02d}.csv")
  filenames = []
"""对于每个part,利用索引定位待存储数据, row_indices即为当前part中存在的数据的索引数组"""
  for file_idx, row_indices in enumerate(np.array_split(np.arange(len(data)), n_parts)):
    part_csv = path_format.format(name_prefix, file_idx)
    filenames.append(part_csv)
    with open(part_csv, 'wt', encoding='utf-8') as f:
      if header is not None:
        f.write(header + '\n')
"""将每条数据的每维信息变成字符串形式保存在文件中"""
      for row_index in row_indices:
        f.write(','.join([repr(col) for col in data[row_index]]))
        f.write('\n')
  return filenames
""" np.c_:将两矩阵按列拼接"""
train_data = np.c_[x_train_scaled, train_y]
valid_data = np.c_[x_valid_scaled, valid_y]
test_data = np.c_[x_test_scaled, test_y]
header_cols = housing.feature_names+["price"]
header_str = ','.join(header_cols)


train_filenames = save_to_csv(output_dir, train_data, "train", header_str, 20)
valid_filenames = save_to_csv(output_dir, valid_data, 'valid', header_str, 10)
test_filenames = save_to_csv(output_dir, test_data, 'test', header_str, 10)

三、csv文件的读取及使用

csv文件的读取需要经过以下步骤:
1.将文件名(filenames)处理成一个dataset
2.读取文件,生成所有filename对应的dataset,并将各dataset合并
3.将csv文件中文本内容解析出来:
tf.io.decode_csv(str, record_defaults)

将文件名(filenames)处理成一个dataset:

# 生成文件名数据集, tf.data.Dataset.list_files将文件名处理成一个dataset
filename_dataset = tf.data.Dataset.list_files(train_filenames)

读取文件,生成所有filename对应的dataset,并将各dataset合并:

# interleave()作用于dataset并将其合并
dataset = filename_dataset.interleave(
# 将filename中数据按行读取形成一个dataset并将各filename对应的dataset合并为一个大的dataset, skip用于取消表头
    lambda filename: tf.data.TextLineDataset(filename).skip(1),
#并行读取文件个数
    cycle_length = 5
)
#可以查看dataset中前15行数据
for line in dataset.take(15):
  print(line)

将csv文件中文本内容解析出来:

def parse_csv_line(line, n_fields):
  defs = [tf.constant(np.nan)] * n_fields
  parsed_fields = tf.io.decode_csv(line, defs)
#将值变成向量:tf.stack()  
  x = tf.stack(parsed_fields[:-1])
  y = tf.stack(parsed_fields[-1:])
  return x, y

合并以上三步的整体过程:

def csv_reader_dataset(filenames, n_readers=5, batch_size=32, n_parse_threads=5, shuffle_buffer_size=10000):
  dataset = tf.dataset.list_files(filenames)
  dataset = dataset.repeat()
  dataset = dataset.interleave(
      lambda filename: tf.data.TextLineDataset(filename),
      cycle_length = n_readers)
  dataset.shuffle(shuffle_buffer_size)
  dataset = dataset.map(parse_csv_line, num_parallel_calls=n_parse_threads)
  dataset = dataset.batch(batch_size)
  return dataset

生成datasets:

train_set = csv_reader_dataset(train_filenames)
valid_set = csv_reader_dataset(valid_filenames)
test_set = csv_reader_dataset(test_filenames)

四、利用生成的数据集训练回归模型


训练一个简单的回归模型:

model = keras.models.Sequential()
model.add(keras.layers.Dense(30,input_shape=[8], activation="relu"))
model.add(keras.layers.Dense(1))
model.compile(loss="mse", optimizer="sgd")
callbacks=[keras.callbacks.EarlyStopping(patience=5, min_delta=1e-3)]
model.fit(train_set, validation_data=valid_set, epochs = 100, steps_per_epoch = 11600//32, validation_steps = 3870//32, callbacks=callbacks)

进行一下测试:

model.evaluate(test_set, steps=5160//batch_size)
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值