项目中tensorflow的使用总结

说明：

之前我多用的pytorch，现项目原有代码为tensorflow1.x的版本，今就代码中涉及的函数方法，边学习，边整理记录

版本：

tensorflow 1.12

教材：

https://www.w3cschool.cn/
c语言编程网
官方API

函数方法

• 引入模块

 import tensorflow as tf

定义变量与图层

• tf.placeholder ：占位符

• tf.variable： 变量节点. 有与tf.get_variable的区别

• tf.get_variable： 获取具有这些参数的现有变量或创建一个新变量.

• tf.variable_scope： 定义创建变量(层)的操作的上下文管理器.

生成数据

• tf.truncated_normal_initializer ：从截断的正态分布中输出随机值

数学函数

• tf.sign：数学符号函数：

  如果x < 0,则有 y = sign(x) = -1；如果x == 0,则有 0 或者tf.is_nan(x)；如果x > 0,则有1

• tf.cast：格式转换函数

• tf.reduce_sum：计算一个张量的各个维度上元素的总和

数据形状变化

• tf.shape：返回张量形状

• tf.reshape：重新赋予张量形状

• tf.concat：并接张量

嵌入层

• tf.nn.embedding_lookup： 在 embedding 张量列表中查找 ids.

数据标准化处理

• 参考文章：TensorFlow的批标准化

• tf.contrib.layers.layer_norm：标准化数据（已经弃用）

  可以考虑用 sklearn.preprocessing.StandardScaler

• tf.nn.batch_normalization：批标准化数据

避免过拟合

• tf.nn.dropout：随机关闭神经细胞——权重值设为0

递归神经网络

• tf.nn.bidirectional_dynamic_rnn() 双向递归神经网络的动态版本：

  • 说明1
  • w3c文档

• bi-lstm（双向LSTM）：模型结构说明

• tf.nn.rnn_cell.DrououtWrapper

• tf.nn.rnn_cell.MultiRNNCell:构建多隐层神经网络

• lstm 权重拆分

损失函数

• 随机条件场损失函数

  • tf.contrib.crf.crf_log_likelihood() 的用法
  • tf.contrib.crf.crf_log_likelihood() 练习代码

• tf.nn.l2_loss() : L2 范数来计算张量的误差值

参数优化算法

• tf.train.AdamOptimizer() :是一种综合的学习方法，可以看作RMSprop+动量（Momentum）的学习方法
  csdn
  详解

梯度

• 梯度计算、更新
  optimizer.minimize()、optimizer.compute_gradients（）、optimizer.apply_gradients（）

• 防止梯度爆炸