TensorFlow 2.0 笔记（五）—— Keras高层API

最新推荐文章于 2022-04-15 15:04:41 发布
最新推荐文章于 2022-04-15 15:04:41 发布
阅读量467 收藏 2
点赞数
分类专栏： 机器学习 TensorFlow2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hetengjiao523/article/details/101441269
版权

Keras != tf.keras

  • datasets
  • layers
  • losses
  • metrics
  • optimizers

Metrics

  • update_state
  • result().numpy()
  • reset_states
import os
import tensorflow as tf
import tensorflow_datasets as tfds

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

dataset, metadata = tfds.load('fashion_mnist', as_supervised=True, with_info=True)
train_dataset, test_dataset = dataset['train'], dataset['test']


def normalize(images, labels):
    images = tf.cast(images, tf.float32)
    images /= 255
    return images, labels


print("datasets", train_dataset.map(normalize))
train_dataset = train_dataset.map(normalize)
test_dataset = test_dataset.map(normalize)

num_train_examples = metadata.splits['train'].num_examples
num_test_examples = metadata.splits['test'].num_examples

BATCH_SIZE = 128
train_dataset = train_dataset.shuffle(num_train_examples).batch(BATCH_SIZE)
test_dataset = test_dataset.batch(BATCH_SIZE)

model = tf.keras.Sequential([
    tf.keras.layers.Dense(256, activation=tf.nn.relu),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dense(64, activation=tf.nn.relu),
    tf.keras.layers.Dense(32, activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

model.build(input_shape=[None, 28*28])
model.summary()
optimizer = tf.keras.optimizers.Adam(lr=1e-3)


def main():
    acc_meter = tf.keras.metrics.Accuracy()
    loss_meter = tf.keras.metrics.Mean()
    for epoch in range(5):
        for step, (x,y) in enumerate(train_dataset):
            x = tf.reshape(x, [-1, 28*28])

            with tf.GradientTape() as tape:
                logits = model(x)
                y_ = tf.one_hot(y, depth=10)
                #loss_mse = tf.reduce_mean(tf.losses.MSE(y_, logits))
                loss_ce = tf.reduce_mean(tf.losses.categorical_crossentropy(y_, logits, from_logits=True))
                loss_meter.update_state(loss_ce)

            grads = tape.gradient(loss_ce, model.trainable_variables)
            optimizer.apply_gradients(zip(grads, model.trainable_variables))

            if step % 500 == 0:
                # test
                # total_correct = 0
                # total_num = 0
                for _, (x_test, y_test) in enumerate(test_dataset):
                    x_test = tf.reshape(x_test, [-1, 28 * 28])
                    logits = model(x_test)
                    prob = tf.nn.softmax(logits, axis=1)
                    pred = tf.argmax(prob, axis=1)
                    # correct = tf.equal(pred, y_test)
                    # total_correct += tf.reduce_sum(tf.cast(correct, dtype=tf.int32)).numpy()
                    # total_num += x_test.shape[0]
                    acc_meter.update_state(y_test, pred)

                print(epoch, step, 'loss:', loss_meter.result().numpy(),
                      'Evaluate Acc:', acc_meter.result().numpy())
                loss_meter.reset_states()
                acc_meter.reset_states()


if __name__ == '__main__':
    main()
  • Compile
model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.01),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
  • Fit
model.fit(train_dataset, epochs=10, validation_data=test_dataset, validation_freq=2)
  • Evaluate
model.evaluate(test_dataset)
  • Predict
sample = next(iter(test_dataset))
x = sample[0]
y = sample[1] # one-hot
pred = model.predict(x) # [b, 10]
# convert back to number 
y = tf.argmax(y, axis=1)
pred = tf.argmax(pred, axis=1)

print(pred)
print(y)

import os
import tensorflow as tf
import tensorflow_datasets as tfds

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

dataset, metadata = tfds.load('fashion_mnist', as_supervised=True, with_info=True)
train_dataset, test_dataset = dataset['train'], dataset['test']


def normalize(images, labels):
    images = tf.cast(images, tf.float32)
    images /= 255.
    images = tf.reshape(images, [28*28])
    labels = tf.one_hot(labels, depth=10)
    return images, labels


train_dataset = train_dataset.map(normalize)
test_dataset = test_dataset.map(normalize)

num_train_examples = metadata.splits['train'].num_examples
num_test_examples = metadata.splits['test'].num_examples

BATCH_SIZE = 100
train_dataset = train_dataset.shuffle(num_train_examples).batch(BATCH_SIZE).repeat(10)
test_dataset = test_dataset.batch(BATCH_SIZE)

model = tf.keras.Sequential([
    tf.keras.layers.Dense(256, activation=tf.nn.relu),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dense(64, activation=tf.nn.relu),
    tf.keras.layers.Dense(32, activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

model.build(input_shape=[None, 28*28])
model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.01),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
model.fit(train_dataset, epochs=10, validation_data=test_dataset, validation_freq=2)

model.evaluate(test_dataset)

sample = next(iter(test_dataset))
x = sample[0]
y = sample[1] # one-hot
pred = model.predict(x) # [b, 10]
# convert back to number
y = tf.argmax(y, axis=1)
pred = tf.argmax(pred, axis=1)

print(pred)
print(y)

自定义网络

  • keras.Sequential
model = tf.keras.Sequential([
    tf.keras.layers.Dense(256, activation=tf.nn.relu),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dense(64, activation=tf.nn.relu),
    tf.keras.layers.Dense(32, activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])
model.build(input_shape=[None, 28*28])
model.summary()

model.trainable_variables
model.call()
  • keras.layers.Layer
  • keras.Model
    • Inherit from keras.layers.Layer / keras.Model
    • _init_
    • call
    • Model: compile/fit/evaluate
class MyDense(tf.keras.layers.Layer):

    def __init__(self, inp_dim, outp_dim):
        super(MyDense, self).__init__()

        self.kernel = self.add_variable('w', [inp_dim, outp_dim])
        self.bias = self.add_variable('b', [outp_dim])

    def call(self, inputs, training=None):
        out = inputs @ self.kernel + self.bias

        return out

class MyModel(tf.keras.Model):

    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = MyDense(28*28, 256)
        self.fc2 = MyDense(256, 128)
        self.fc3 = MyDense(128, 64)
        self.fc4 = MyDense(64, 32)
        self.fc5 = MyDense(32, 10)

    def call(self, inputs, training=None, mask=None):
        x = self.fc1(inputs)
        x = tf.nn.relu(x)
        x = self.fc2(x)
        x = tf.nn.relu(x)
        x = self.fc3(x)
        x = tf.nn.relu(x)
        x = self.fc4(x)
        x = tf.nn.relu(x)
        x = self.fc5(x)

        return x

import os
import tensorflow as tf
import tensorflow_datasets as tfds

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

dataset, metadata = tfds.load('fashion_mnist', as_supervised=True, with_info=True)
train_dataset, test_dataset = dataset['train'], dataset['test']


def normalize(images, labels):
    images = tf.cast(images, tf.float32)
    images /= 255.
    images = tf.reshape(images, [28*28])
    labels = tf.one_hot(labels, depth=10)
    return images, labels


train_dataset = train_dataset.map(normalize)
test_dataset = test_dataset.map(normalize)

num_train_examples = metadata.splits['train'].num_examples
num_test_examples = metadata.splits['test'].num_examples

BATCH_SIZE = 100
train_dataset = train_dataset.shuffle(num_train_examples).batch(BATCH_SIZE)\
	.prefetch(tf.data.experimental.AUTOTUNE)
test_dataset = test_dataset.batch(BATCH_SIZE)


class MyDense(tf.keras.layers.Layer):

    def __init__(self, inp_dim, outp_dim):
        super(MyDense, self).__init__()

        self.kernel = self.add_variable('w', [inp_dim, outp_dim])
        self.bias = self.add_variable('b', [outp_dim])

    def call(self, inputs, training=None):
        out = inputs @ self.kernel + self.bias

        return out


class MyModel(tf.keras.Model):

    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = MyDense(28*28, 256)
        self.fc2 = MyDense(256, 128)
        self.fc3 = MyDense(128, 64)
        self.fc4 = MyDense(64, 32)
        self.fc5 = MyDense(32, 10)

    def call(self, inputs, training=None, mask=None):
        x = self.fc1(inputs)
        x = tf.nn.relu(x)
        x = self.fc2(x)
        x = tf.nn.relu(x)
        x = self.fc3(x)
        x = tf.nn.relu(x)
        x = self.fc4(x)
        x = tf.nn.relu(x)
        x = self.fc5(x)

        return x


model = MyModel()
model.build(input_shape=[None, [28*28]])
model.summary()
model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.01),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
model.fit(train_dataset, epochs=2, validation_data=test_dataset, validation_freq=1)

model.evaluate(test_dataset)

sample = next(iter(test_dataset))
x = sample[0]
y = sample[1] # one-hot
pred = model.predict(x) # [b, 10]
# convert back to number
y = tf.argmax(y, axis=1)
pred = tf.argmax(pred, axis=1)

print(pred)
print(y)

模型的保存与加载

  • save/load weights
#save the weights
model.save_weights('weights.ckpt')
print('save weights')
del model

model = tf.keras.Sequential([
    tf.keras.layers.Dense(256, activation=tf.nn.relu),
    tf.keras.layers.Dense(128, activation=tf.nn.relu),
    tf.keras.layers.Dense(64, activation=tf.nn.relu),
    tf.keras.layers.Dense(32, activation=tf.nn.relu),
    tf.keras.layers.Dense(10)
])

model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.01),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
#restore the weights
model.load_weights('weights.ckpt')
print('loaded weights!')
model.evaluate(test_dataset)
  • save/load entire model
model.save('model.h5')
print('saved total model.')
del model

print('load model from file')
model = tf.keras.models.load_model('model.h5')
model.evaluate(test_dataset)
  • saved_model
tf.saved_model.save(model, 'saved_model/')
imported = tf.saved_model.load('saved_model/')
f = imported.signatures["serving_default"]
print(f(x=tf.ones([1, 28*28])))

例子

import os
from abc import ABC

import tensorflow as tf

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

BATCH_SIZE = 128


def preprocess(images, labels):
    images = 2 * tf.cast(images, tf.float32) / 255. - 1.
    labels = tf.cast(labels, tf.int32)
    return images, labels


class MyDense(tf.keras.layers.Layer, ABC):

    def __init__(self, inp_dim, outp_dim):
        super(MyDense, self).__init__()

        self.kernel = self.add_variable('w', [inp_dim, outp_dim])
        self.bias = self.add_variable('b', [outp_dim])

    def call(self, inputs, training=None):
        out = inputs @ self.kernel + self.bias

        return out


class MyModel(tf.keras.Model, ABC):

    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = MyDense(32*32*3, 256)
        self.fc2 = MyDense(256, 128)
        self.fc3 = MyDense(128, 64)
        self.fc4 = MyDense(64, 32)
        self.fc5 = MyDense(32, 10)

    def call(self, inputs, training=None, mask=None):
        x = tf.reshape(inputs, [-1, 32*32*3])
        x = self.fc1(x)
        x = tf.nn.relu(x)
        x = self.fc2(x)
        x = tf.nn.relu(x)
        x = self.fc3(x)
        x = tf.nn.relu(x)
        x = self.fc4(x)
        x = tf.nn.relu(x)
        x = self.fc5(x)

        return x


(x, y), (x_val, y_val) = tf.keras.datasets.cifar10.load_data()
y = tf.squeeze(y)
y_val = tf.squeeze(y_val)
y = tf.one_hot(y, depth=10)
y_val = tf.one_hot(y_val, depth=10)
print("datasets:", x.shape, y.shape, x_val.shape, y_val.shape, x.min(), x.max())

train_data = tf.data.Dataset.from_tensor_slices((x, y))
train_data = train_data.map(preprocess).shuffle(50000).batch(BATCH_SIZE)
test_data = tf.data.Dataset.from_tensor_slices((x_val, y_val))
test_data = test_data.map(preprocess).batch(BATCH_SIZE)

model = MyModel()
model.compile(optimizer=tf.keras.optimizers.Adam(lr=1e-3),
              loss=tf.losses.CategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_data, epochs=15, validation_data=test_data, validation_freq=1)
资深糖分大叔
关注
专栏目录
〖TensorFlow2.0笔记14〗感知机梯度详细过程,Keras高层API,Keras的自定义网络！
AI新视界
05-01 1919
Keras高层API！ 文章目录一、Keras高层API-11.1、五大功能1.2、这里主要讲解Metrics1.3、1.2中的实战 一、Keras高层API-1 1.1、五大功能 1.2、这里主要讲解Metrics 1.3、1.2中的实战 import tensorflow as tf from tensorflow.keras import datasets, layers, opt...
〖TensorFlow2.0笔记23〗TensorFlow2.0学习笔记总结!
AI新视界
11-10 1万+
Tensorflow2.0全套课程学习笔记！
tf.keras高层API
liuziyuan333183的博客
08-22 229
一、定义网络 keras.sequential ：层的容器 keras.layers.Layer 所有的层都要继承这个类 keras.Model：继承了Model的类都有compile/fit/evaluate这几个功能 model = Sequential([ layers.Dense(256,activation=tf.nn.relu) #[b,784] => [b,256],输入维度会默认有 ,layers.Dense(128,activation=tf.nn.relu) #[b
理解Keras参数 input_shape、input_dim和input_length
pmj110119的博客
07-05 2万+
在keras中，数据是以张量的形式表示的，不考虑动态特性，仅考虑shape的时候，可以把张量用类似矩阵的方式来理解。 例如 [[1],[2],[3]] 这个张量的shape为（3,1） [[[1,2],[3,4]],[[5,6],[7,8]],[[9,10],[11,12]]]这个张量的shape为（3,2,2）, [1,2,3,4]这个张...
Keras: input_shape函数
VeritasCN的博客
05-09 1万+
keras.backend.int_shape(x) 返回张量或变量的尺寸，作为 int 或 None 项的元组。 参数 x: 张量或变量。 返回 整数元组（或 None 项）。 例子 >>> from keras import backend as K >>> inputs = K.placeholder(shape=(2, 4, 5)) &g...
Keras 中自定义层
liguandong
10-24 2984
Keras中自定义层非常普遍。对于简单，无状态的自定义操作，可以通过 layers.core.Lambda层来实现。对于包含了可训练权重的自定义层，就需要自己手动去实现。 需要实现三个方法： build（input_shape）: 定义权重，这个方法必须设 self.built = True,可以通过调用 super([Layer],self).build( ) 完成。 call( x )：...
简洁明了的tensorflow2.0教程——用keras实现mnist数字识别
JohnLeeK的博客
05-29 2675
通过本文你可以快速学会使用keras搭建神经网络，只需40行代码构建神经网络实现mnist数据集手写数字的识别。MNIST数据集(Mixed National Institute of Standards and Technology database)是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集.，图片大小为28*28。完整代码在我的github，链接：https://github.com/JohnLeek/Tensorflow-st
TensorFlow2.0教程-keras 函数api
知行_那片天
03-10 1万+
TensorFlow2.0教程-keras 函数api 完整tensorflow2.0教程代码请看tensorflow2,0：中文教程tensorflow2_tutorials_chinese(欢迎star) # !pip install pydot #!sudo apt-get install graphvizf from __future__ import absolute_import, ...
TensorFlow介绍-TensorFlow2.0中Keras高层接口
weixin_46414576的博客
03-25 1853
Keras高层接口 • Keras 是一个用于构建和训练深度学习模型的高阶 API。它可用于快速设计原型、高级研究和生产，具有以下三个主要优势： • 方便用户使用 Keras 具有针对常见用例做出优化的简单而一致的界面。它可针对用户错误提供切实可行的清晰反馈。 • 模块化和可组合 将可配置的构造块连接在一起就可以构建 Keras 模型，并且几乎不受限制。 • 易于扩展 可以编写自定义构造块以表达新...
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记）
05-05
Google老师亲授TensorFlow2.0入门到进阶（教学视频、笔记） 第1章 Tensorflow简介与环境搭建 第2章 Tensorflow keras实战 第3章 Tensorflow基础API使用 第4章 Tensorflow dataset使用 第5章 Tensorflow Estimator...
[Keras] 使用Keras编写自定义网络层（layer）
热门推荐
u013084616的专栏
02-09 3万+
Keras提供众多常见的已编写好的层对象，例如常见的卷积层、池化层等，我们可以直接通过以下代码调用： # 调用一个Conv2D层 from keras import layers conv2D = keras.layers.convolutional.Conv2D(filters,\ kernel_size, \ strides=(1, 1), \ padding='valid', \ .....
keras 自定义层
huowa9077的博客
04-29 1万+
1. Layer重写的基本思路？Keras层的骨架。只需要实现三个方法即可:build(input_shape): 这是你定义权重的地方。这个方法必须设self.built = True，可以通过调用super([Layer], self).build()完成。build，这个函数用来确立这个层都有哪些参数，哪些参数是可训练的哪些参数是不可训练的。call(x): 这里是编写层的功能逻辑的地方。你...
自定义可用于深度学习训练和测试的数据集示例
shixianrang123的博客
04-15 607
如何自定义可用于深度学习训练和测试的数据集？以及我遇到的问题。。。
keras中的shape/input_shape
dianshu1593的博客
03-07 1035
在keras中，数据是以张量的形式表示的，张量的形状称之为shape，表示从最外层向量逐步到达最底层向量的降维解包过程。“维”的也叫“阶”，形状指的是维度数和每维的大小。比如，一个一阶的张量[1,2,3]的shape是(3,); 一个二阶的张量[[1,2,3],[4,5,6]]的shape是(2,3);一个三阶的张量[[[1],[2],[3]],[[4],[5],[6]]]的shape...
yolo3制作数据集并训练模型检测路面
yanzhiwen2的博客
06-15 1245
1.labeImg制作数据集 摁了w后再用鼠标框选，然后再选择类别，记得保存 a:前一张图片 d:后一张图片 2.代码下载：https://github.com/qqwweee/keras-yolo3 3.在主目录里创建VOCdevkit文件夹，文件夹的具体组成如下图： 标注好的数据对应存在VOC2007目录Annotations里面（xml文件），标注的图像放在JPEGImages里面（jpg文件）。标注好的数据是一一对应的。 4.在VOC2007目录下创建一个python代码，我这里命名CreateM
人工智能|备战Tensorflow技能认证之两种快速构建模型的常用方式
算法与编程之美
04-02 1713
欢迎点击「算法与编程之美」↑关注我们！本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。1 前言Tensorflow认证考试内容五项中的第一项...
训练并导出tensorflow Lite模型中的一些问题 及解决办法
qq_41786188的博客
01-02 4019
##1.ubuntu18.04连接镜像autonist.iso 安装ubuntu或者centos时，vmware提示"快速安装，然后会使用一个autonist.iso文件来快速安装，并且装完系统重启了，它插入一个操作：安装vm-tools"。 https://www.cnblogs.com/zjutzz/p/6049328.html 断开autonist的连接出现的问题:终端中使用apt-get安...
使用ConvNet迁移学习_01
HideOnShadow的博客
07-18 236
本章节通过深度学习框架TensorFlow和Keras框架原理知识的介绍，框架的搭建，并通过案例的讲解，掌握深度学习框架的运用。
TensorFlow2.0教程：Keras实现神经网络回归模型
在本教程中，我们将探讨如何使用TensorFlow2.0的高级API Keras构建一个神经网络回归模型，以解决回归问题，即预测加州地区的房价。在上一篇文章中，我们已经了解了如何使用Keras构建分类模型，现在我们将转向回归...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值