python中tensor与variable_NLP实战篇之tf2中tensor、variable、gradient、ops

本文是基于tensorflow2.2.0版本，介绍了tf中变量、张量的概念，tf中梯度的计算方式和tensor相关的操作。

实战系列篇章中主要会分享，解决实际问题时的过程、遇到的问题或者使用的工具等等。如问题分解、bug排查、模型部署等等。相关代码实现开源在：https://github.com/wellinxu/nlp_store ，更多内容关注知乎专栏(或微信公众号)：NLP杂货铺。

变量

张量张量的创建

形状

索引

其他张量非矩阵张量

稀疏张量

梯度计算GradientTape的参数与方法

Gradient tapes

模型中的梯度

operations数组操作

检查操作

裁剪操作

流程控制操作

函数操作

数学操作

其他操作

参考

变量

TensorFlow2中可以使用tf.Variable来创建变量，变量与张量(tensor)很接近，拥有tensor的很多属性，以及操作(加减乘除等)。但张量是不可改变的，而变量是可以重新赋值的。变量的创建以及再赋值方法如下：

import tensorflow as tf

my_tensor = tf.constant([1.0, 2.0])

my_variable = tf.Variable(my_tensor) # 数值型

bool_variable = tf.Variable([False, False, False, True]) # bool型

complex_variable = tf.Variable([5 + 4j, 6 + 1j]) # 复数型

print(my_variable) #

print(bool_variable) #

print(complex_variable) #

# 再赋值

my_variable.assign([2.0, 3.0])

print(my_variable) #

张量

tensor(张量)是具有统一类型的多位数组，跟Python中数字、字符串类似，张量是不可改变的，只能创建一个新张量而不能更新张量的值(变量则可以更新)。

张量的创建

tensor可以直接从各种类型的数组(list或numpy)来创建，也能转成numpy数据。

# 创建

my_tensor1 = tf.constant([1.2, 4.5])

my_numpy = my_tensor1.numpy()

my_tensor2 = tf.convert_to_tensor(my_numpy)

print(my_tensor1) # tf.Tensor([1.2 4.5], shape=(2,), dtype=float32)

print(my_numpy) # [1.2 4.5]

print(my_tensor2) # tf.Tensor([1.2 4.5], shape=(2,), dtype=float32)

形状

tensor形状相关的有这么几个概念：形状：shape，tesor中每个维度的长度

秩，rank，tensor维度的个数，标量的秩是0，向量是1，矩阵是2

维度，axis/dimension

大小，size，tensor中所有元素的个数

下面代码中展示了一个4维tensor的几个概念：

rank_4_tensor = tf.zeros([3, 2, 4, 5])

print("Type of every element:", rank_