MindSpore学习：静态编译图和动态编译图

Mindspore的动静态图结合

我在阅读MindSpore的框架介绍的代码的时候，看到了感到非常有趣的一个东西，静态编译图和动态编译图，

看到这个内容我真的是感到比较震惊，因为我也见到了比较多的pytorch代码，但是从来在代码中见到有使用静态编译图的，因为python本身就是一个解释性的编程语言，所以我也一直理所当然地认为所有的代码都是动态编译的，这也在python的实际使用过程中给我提供了非常大的便利，方便调试。

我觉得在MindSpore中的静态代码和动态代码结合的运行模式是非常好的，我也认真去补充了一些相关知识，特此附上链接

• 机器学习入门（10）— 浅显易懂的计算图、链式法则 @wuho007
• 深度学习框架——动态图和静态图 @高斯小哥

计算图即DAG图，动态和静态指的是DAG图生成的时间不同，类似于静态编译和动态编译。从这个方向考虑，如果图已经确定好，那么计算直接用就可以极大程度地降低图生成所耗费的时间。可最大的问题是，如何做好一个简单好用的静态、动态图切换？pytorch做了那么多年为啥不行，tensorflow还需要tensorflow.function去一行一行切换，我觉得和架构的几个方面有关系：

1. 友好的API：
   MindSpore 的 API 设计简洁明了，用户只需要定义模型和前向计算的逻辑，MindSpore 会自动构建计算图并进行编译优化。
2. 图融合加速引擎：
   MindSpore 利用了多种编译优化技术，包括常量折叠、内存优化、算子融合等。通过这些优化，静态图能够在编译阶段进行大量的优化，使得生成的执行代码更加高效。

附Tensorflow动静图切换方法

动态图方法

import tensorflow as tf

# 开启动态图模式（TF 2.x 默认开启）
x = tf.constant([[1.0]])
y = tf.constant([[2.0]])
w = tf.Variable(tf.random.normal([1, 1]))
b = tf.Variable(tf.random.normal([1]))
pred = tf.matmul(x, w) + b

# 定义损失和优化器
loss = tf.reduce_mean(tf.square(pred - y))
optimizer = tf.optimizers.SGD(learning_rate=0.01)

# 训练模型
for step in range(1000):
    with tf.GradientTape() as tape:
        pred = tf.matmul(x, w) + b
        loss = tf.reduce_mean(tf.square(pred - y))
    grads = tape.gradient(loss, [w, b])
    optimizer.apply_gradients(zip(grads, [w, b]))

静态图方法

import tensorflow as tf

# 定义模型
class LinearModel(tf.Module):
    def __init__(self):
        self.w = tf.Variable(tf.random.normal([1, 1]))
        self.b = tf.Variable(tf.random.normal([1]))

    @tf.function  # 使用 tf.function 装饰器
    def __call__(self, x):
        return tf.matmul(x, self.w) + self.b

model = LinearModel()

# 定义训练步骤
@tf.function  # 使用 tf.function 装饰器
def train_step(x, y):
    with tf.GradientTape() as tape:
        pred = model(x)
        loss = tf.reduce_mean(tf.square(pred - y))
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))

optimizer = tf.optimizers.SGD(learning_rate=0.01)

# 训练模型
for step in range(1000):
    train_step(train_x, train_y)