TensorFlow基础架构

最新推荐文章于 2023-06-30 23:58:22 发布

elfighting

最新推荐文章于 2023-06-30 23:58:22 发布

阅读量325

点赞数

分类专栏： TensorFlow 文章标签： tensorflow 深度学习人工智能

本文链接：https://blog.csdn.net/elfighting/article/details/128878672

版权

TensorFlow 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了如何使用TensorFlow构建神经网络并进行优化。通过定义参数、初始化、选择Adam优化器、设定成本函数以及训练步骤，展示了如何找到使成本函数最小化的参数。文章以一个简单的例子展示了TensorFlow中的自动梯度计算和训练过程。

摘要由CSDN通过智能技术生成

本文以一个简单的例子来说明TensorFlow在神经网络中的使用方式。基本思路为如何在TensorFlow提供的框架下，找到使得cost function最小的相关参数。

本模型的cost fucntion为： $J(w) = W^2-10w+25$

一、import相关package

TensorFlow相关的包就是tensorflow，通常简用为tf

# import packages
import numpy as np
import tensor flow as tf

二、参数初始化

函数 tf.variable() 用于参数初始化，此处将w初始化为0。注意我们将需要tune的所有参数按照这个形式初始化。

# define the parameters 
# tf.variable(initial value, type)
w = tf.variable(0, dtype = tf.float32)

三、确定最优化算法

# optimization algorithm: tf.keras.optimizer.Adam(learning rate)
# Adam Algorithm
optimizer = tf.keras.optimizer.Adam(0.1)

四、Cost Function

根据已给的形式显式定义即可。

注意TensorFlow中之需要定义forward propagation中的式子，利用 tf.GradientTape 就可以自动完成 backpropagation。tape会自动记住foward propagation时的operation序列，在进行backpropagation时，访问这些序列即可。

with tf.GradientTape() as tape:
    cost = w ** 2 - 10 * w + 25

五、training step

如果cost function只和w相关，则可以定义成如下形式：

def train_step:
    with tf.GradientTape() as tape:
        cost = w ** 2 - 10 * w + 25
    trainable_variable = (w)
    grade = tape.gradient(cost, trainable_variable)
    optimizer.apply_gradients(zip(grade, trainable_variable))

for i in range(1000):
    train_step()

也可以将常数定义在一个array中，简化代码：

w = tf.Variable(0, type = tf.float32)
x = np.array([1.0, -10.0, 25.0], dtype = np.float32)
optimizer = tf.keras.optimizer.Adam(0.1)

def training(x, w, optimizer):
    def cost_fn():
        return x[0] * w ** 2 + x[1] * w + x[2]
    for i in range(10000):
        optimizer_minimize(cost_fn, [w])
    return w

w = training(x, w, optimizer)