在 TensorFlow 中,推荐使用Keras( tf.keras)构建模型。Keras 是一个广为流行的高级神经网络 API,简单、快速而不失灵活性,现已得到TensorFlow的官方内置和全面支持。
Keras有两个重要的概念:模型(Model)和层(Layer)。层将各种计算流程和变量进行了封装(例如基本的全连接层,CNN的卷积层、池化层等),而模型则将各种层进行组织和连接,并封装成 一个整体,描述了如何将输入数据通过各种层以及运算而得到输出。在需要模型调用的时候,使用y_pred = model(X) 的形式即可。
下面开始用一个简单的线性模型y_pred=a*X+b来讲解吧。
import tensorflow as tf x=tf.constant([[1.0,2.0,3.0],[4.0,5.0,6.0]]) y=tf.constant([[10.0,20.0]]) class Linear(tf.keras.Model): def __init__(self): super().__init__() self.dense=tf.keras.layers.Dense( units=1, activation=None, kernel_initializer=tf.zeros_initializer(), bias_initializer=tf.zeros_initializer() ) def call(self,input): output=self.dense(input) return output if __name__=="__main__": model=Linear() optimizer=tf.keras.optimizers.SGD(learning_rate=0.01) for i in range(100): with tf.GradientTape() as tape: y_pred=model(x) loss=tf.reduce_mean(tf.square(y_pred-y)) grads=tape.gradient(loss,model.variables) optimizer.apply_gradients(grads_and_vars=zip(grads,model.variables)) print(model.variables)
结果如下所示:
[<tf.Variable 'linear/dense/kernel:0' shape=(3, 1) dtype=float32, numpy=
array([[-2.5728545 ],
[ 0.47581893],
[ 3.524492 ]], dtype=float32)>, <tf.Variable 'linear/dense/bias:0' shape=(1,) dtype=float32, numpy=array([3.048674], dtype=float32)>]
tf.keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros')
units,第一个参数,输出的单元个数
activation,第二个参数是激活函数
kernel_initializer :卷积核初始化,
bias_initializer :偏差值初始化,
apply_gradients则是更细梯度以及模型参数。